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章 
E 还 是 服从 


《危险 边缘 》 是 一 档 热门 的 电视 智力 竞赛 节目 ， 有 多 
个 版 本 ， 开 播 至 今 已 有 50 多 年 。 该 节目 的 比赛 内 容 
为 百科 知识 问答 ， 其 巧妙 之 处 在 于 : 参赛 者 要 根据 以 
答案 形式 提供 的 各 种 线索 ， 给 出 与 这 个 答案 相对 应 的 
问题 。 例 如 ， 线索 是 “美国 第 16 任 总 统 ”, 正确 的 问题 
就 是 :“ 谁 是 亚伯拉罕 :林肯 ? ”每 期 节目 均 有 三 名 参 
赛 者 ， 以 担 按 钮 的 方式 口头 抢答 (除了 最 后 一 轮 “ 终 
极 危 险 边缘 ”以 外 ， 在 其 他 环节 三 名 参赛 者 均 有 30 秒 
时 间 书 写作 答 ) 。 


从 很 多 方面 来 看 ， 这 档 节目 都 适合 计算 机 参与 ， 因 为 计算 机 能 准确 无 
误 地 存储 和 检索 大 量 信息 。 在 《危险 边缘 》 青 少年 组 比赛 中 ， 一 名 男 
孩 因 将 “ 谁 是 安 尼 -: 弗 兰 克 ” 误 写 成 “ 谁 是 安妮 :弗兰克 ”而 痛 失 冠 军 。 而 计 
算 机 就 不 会 犯 这 样 的 错误 。 


另外 ， 线 索 有 时 通俗 易 懂 ， 有 时 却 隆 涩 难 解 。 例 如 ， 线 索 是 “把 它 打 
进去 ， 你 就 输 了 比赛 ”, 对 只 是 资料 库 的 计算 机 来 说 ， 很 难得 出 以 下 
正确 问题 :“ 什 么 是 ( 台球 ) 母 球 ?” 


还 有 一 个 难 解 的 线索 是 :“ 翻 译 时 ， 这 支 大 联盟 棒球 队 的 名 字 会 重复 
一 次 。” 正 确 问题 为 :“ 什 么 是 洛杉矶 天 使 队 ?”( What is the Los 
Angeles angels ? ) 


2005 , 1541BM ( 国际 商用 机 器 公司 ) 的 工程 师 合作 设计 了 一 款 能 
与 《危险 边缘 》 最 佳 玩 家 同 台 对 擂 的 计算 机 ， 取 名 “ 沃 森 ”， 以 纪念 
IBM 的 首 任 CEO (首席 执行 官 ) 托马斯 J. 沃 森 。 沃 森 在 1914 年 接手 
IBM 时 ，IBM 还 只 是 一 家 仅 有 1 300 名 员工 、 年 收入 不 足 500 万 美元 的 
小 公司 ， 到 了 1956 年 他 去 世 的 时 候 ，IBM 已 经 发 展 成 为 一 家 有 7.25 万 
名 员工 、 年 收入 9 亿美 元 的 公司 。 


“ 沃 森 ”程序 存储 了 相当 于 2 亿 页 纸 的 内 容 ， 每 秒 可 处 理 相 当 于 100 万 本 
书 的 信息 。 除 了 拥有 海量 内 存 和 高 速 处 理 能 力 外 ，“ 沃 森 ” 还 能 理解 自 
然 语言 ， 使 用 合成 语音 进行 交流 。 与 罗列 相关 文档 或 网 站 的 搜索 引擎 
不 同 ，“ 沃 森 ” 可 按照 程序 并 根据 线索 得 出 具体 答案 。 


“ 沃 森 ”运用 数 百 个 软件 程序 ， 先 识别 线索 中 的 天 键 字 和 词组 ， 再 与 海 
量 数据 库 中 的 关键 字 和 词组 相 匹 配 ， 最 后 得 出 合理 答案 。 按 照 编 好 的 
程序 ， 如 果 线 索 是 某 个 名 字 ( 如 亚伯拉罕 -林肯 ) ，“ 沃 森 ” 就 会 写 出 
以 “ 谁 是 .…...” 开 头 的 问题 ; 如 果 线 索 为 某 一 事件 ， 它 就 会 写 出 以 “什么 
是 .…...” 开 头 的 问题 。 单 个 软件 程序 与 某 个 答案 的 一 致 性 越 高 ,，“ 沃 

森 ” 就 越 能 确定 此 为 正确 答案 。 


该 程序 能 轻而易举 地 得 出 与 “美国 第 16 任 总 统 ” 这 么 直 白 的 线索 对 应 的 
问题 ， 但 要 处 理 有 多 重 含 义 的 词语 时 就 有 些 困难 了 ， 比如， 线索 

是 “把 它 打 进去 ， 你 就 输 了 比赛 ?之 类 的 问题 。 但 是 ，“ 沃 森 ” 不 会 感到 
紧张 ， 也 绝 不 会 遗忘 。 


2008 年 ，“ 沃 森 ” 做 好 了 参加 《危险 边缘 》 的 准备 ， 但 还 有 些 问 题 需要 
协商 。IBM 团 队 担 心 该 节目 的 工作 人 员 会 使 用 包含 双关 语 和 具有 双重 
含义 的 线索 ， 给 “ 沃 森 ”下 圈套 。 这 一 担心 也 恰好 揭示 了 人 类 与 计算 机 
的 巨大 差异 。 人 类 可 以 根据 语 境 理解 词义 ， 所 以 能 理解 双关 语 、 笑 
话 、 迹 语 和 讽刺 批评 。 而 目前 的 计算 机 ， 充其量 只 能 检查 出 数据 库 中 
是 否 含有 双关 语 、 笑 话 、 谜 语 或 讽刺 批评 。 


Wilt, 节目 工作 人 员 同 意 随 机 抽取 以 往 编写 但 未 使 用 的 线索 。 而 节目 

工作 人 员 也 担心 ， 如 果 “ 沃 森 ” 一 得 到 答案 就 可 以 发 出 电子 信号 ， 会 比 

必须 通过 担 按 钮 来 答题 的 参赛 者 更 有 优势 。 对 此 ，IBM 团 队 同意 给 “ 沃 
和 森 ” 装 根 电子 手指 来 抛 按钮， 但 它 还 是 比 人 类 快 ， 这 也 让 “ 沃 森 ” 占 据 决 
定性 优势 。 提 按钮 快 算是 聪明 的 体现 吗 ? 如 果 “ 沃 森 ” 的 反应 速度 降 为 

与 人 类 的 一 致 ， 比 赛 结果 又 会 如 何 ? 


接 下 来 ， 在 2011 年 的 人 机 大 战 中 ，“ 沃 森 ” 与 《危险 边缘 》 的 两 名 前 冠 
军 肯 : 詹 宁 斯 和 布 拉 德 - 鲁 特 展开 了 两 轮 比赛 。 首 轮 比 赛 “终极 危险 边 
缘 ” 的 线索 是 : 


它 最 大 的 机 场 以 第 二 次 世界 大 战 的 英雄 命名 , 
它 的 第 二 大 机 场 以 第 二 次 世界 大 战 的 战役 命名 。 
两 名 前 冠军 给 出 的 问题 为 :“ 芝 加 哥 是 什么 ? "而 “ 沃 森 ?给 出 的 问题 


是 :“ 多 伦 多 是 什么 ? ? ? ? ? "显然 “ 沃 森 ”识别 出 了 “最 大 的 机 
1H”, “第 二 次 世界 大 战 的 英雄 ?和 ”第 二 次 世界 大 战 的 战役 ?这些 词 组 ， 
然后 在 其 数据 库 中 查找 相同 主题 ， 但 没 能 理解 线索 的 第 二 部 分 (“ 它 
的 第 二 大 ”) 指 的 是 该 市 的 第 二 大 机 场 。“ 沃 森 ?给 问题 添加 了 多 个 问 
号 ， 因 为 它 计 算出 的 这 一 答案 的 正确 概率 仅 为 14%。 


尽管 如 此 ，“ 沃 森 ” 还 是 以 77 147 美 元 轻松 获胜 ， 詹 宁 斯 和 鲁 特 的 赛 果 
分 别 为 24 000 美 元 和 21 600 美 元 。“ 沃 森 ” 夺 得 了 100 万 美元 的 冠军 奖 
= (IBM 将 其 捐赠 给 了 慈善 机 构 ) ， 詹 宁 斯 和 鲁 特 也 各 自 将 奖金 的 一 
半 捐 赠 给 了 慈善 机 构 。“ 沃 森 ?” 在 《危险 边缘 》 的 取胜 是 一 次 价值 数 百 
万 美元 的 宣传 良机 。 在 获得 艳 惊 四 座 的 胜利 后 ，IBM 宣 称 ， 相 比 在 
《危险 边缘 》 中 与 主持 人 亚 历 克 斯 . 特 雷 贝克 较量 ,“ 沃 和 森 ” 的 问答 技能 
将 运用 于 更 重要 的 领域 。IBM 一 直 将 * 沃 森 ?” 应 用 于 医疗 、 银 行 、 技 术 
支持 以 及 其 他 能 利用 庞大 的 数据 库 来 解决 具体 问题 的 领域 。 

对 许多 人 来 说 ，“ 沃 森 ” 击 败 《 危 险 边 缘 》 的 两 名 前 冠军 无 疑 证 明 强 大 
的 “ 沃 森 ? 无 所 不 知 ! 计算 机 比 人 类 更 聪明 ， 我 们 应 该 依靠 它 ， 相 信 它 
的 决策 。 也 许 我 们 还 应 该 担心 ， 计 算 机 会 在 不 久 的 将 来 征服 甚至 消灭 


人 类 。 


“ 沃 森 ” 真 的 比 我 们 聪明 吗 ? 它 的 胜利 恰恰 反映 了 计算 机 的 优势 和 弱 


点 。 作 为 能 力 超 强 的 搜索 引擎 ，“ 沃 森 ” 可 以 在 其 庞大 的 数据 库 中 快速 
查找 单词 和 短语 ( 它 还 有 可 以 快速 点 触 的 电子 手指 )。 我 之 所 以 没有 


使 用 “解读 ”这 个 词 ， 是 因为 “ 沃 森 ?并 不 了 解 那 些 单词 和 短语 的 含义 ， 
比如 ”第 二 次 世界 大 战 ? 和 ”多伦多 ”, 它 也 不 明白 语 境 中 的 词义 ， 比 
如 “ 它 的 第 二 大 ”“ 沃 森 ” 的 实力 被 过 分 夸大 了 ， 正 如 很 多 电脑 程序 一 
样 ， 它 的 智能 不 过 是 假象 罢了 。 


从 很 多 方面 来 说 ，“ 沃 森 ” 的 表现 就 是 骗 人 的 把 戏 ， 只 不 过 是 在 范围 极 
小 的 某 些 技能 上 看 似 具 有 超人 的 发 挥 喷 了 。 设 想 有 一 个 不 懂 英 语 ， 但 
有 无 限时 间 翻 阅 大 型 文库 ( 藏 有 2 亿 页 英语 单词 和 短语 ) 找 出 匹配 单 
词 和 短语 的 人 。 我 们 会 认为 这 个 人 聪明 吗 ? 计算 机 仅 因 能 比 人 类 更 快 
地 进行 搜索 匹配 ， 就 说 明 它 聪明 绝顶 吗 ? 


连 IBM"“ 沃 森 ?团队 负责 人 戴 夫 . 费 鲁 奇 也 坦承 :“ 我 们 在 开发 沃 森 '， 设 
法 让 其 仿造 人 类 认 知 时 ， 有 坐 下 来 好 好 谈 过 吗 ? 根本 没有 。 我 们 不 过 
是 想 发 明 一 台 可 以 在 《危险 边缘 》 中 获胜 的 机 器 而 已 。” 


计算 机 不 仅 击 败 了 《危险 边缘 》 中 的 人 类 玩家 ， 还 击败 了 国际 跳棋 、 
国际 象棋 和 围棋 的 世界 冠军 ， 这 助长 了 人 们 认为 计算 机 比 最 聪明 的 人 
类 还 要 聪明 的 普遍 观念 。 想 要 玩 好 这 些 战 略 型 棋盘 游戏 ， 仅 靠 匹 配 单 
词 和 短语 的 强大 搜索 引擎 是 远 远 不 够 的 ， 还 要 能 分 析 棋 盘 格局 、 制 定 
创意 策略 、 做 到 未 雨 绸 缪 。 这 难道 不 是 真正 的 智能 吗 ? 


接 下 来 ， 我 们 就 从 非常 简单 的 儿童 游戏 开始 了 解 。 


井 字 游戏 


在 玩 井 字 游 戏 时 ， 两 个 玩家 在 3 x 3 网 格 上 轮流 画 x 和 O (如 图 1.1 所 
示 ) 。 无 论 是 在 水 平方 向 、 垂 直方 向 还 是 在 对 角 线 上 ， 只 要 三 个 方 格 
连 成 一 条 线 ， 该 玩家 即 赢得 比赛 。 


通过 分 析 所 有 可 能 的 移动 序列 ， 软 件 工程 师 可 以 编写 出 靠 蛮 力 计 算 的 
程序 来 掌握 井 字 游戏 。 玩 家 甲 有 9 个 方 格 可 选择 ， 在 他 走出 第 一 步 
后 ， 玩 家 乙 有 8 个 方 格 可 选择 ， 前 两 步 共 有 72 种 组 合 方式 。 走 完 前 两 
步 ， 玩 家 甲 剩 7 个 方 格 可 选择 。 整 局 游戏 玩 下 来 ， 计 算 机 程序 必须 处 
理 的 选择 序列 共有 9x8x7x6x5x4x3x2x1l = 362 880 种 。 


图 1.1 井 字 游 戏 


也 有 更 简便 的 分 析 方 法 ， 但 重点 是 ， 井 字 游 戏 程序 看 待 游戏 的 方式 与 
人 类 不 同 。 人 类 看 到 3 x 3 的 网 格 会 思考 选择 哪些 方块 能 完成 三 格 连 


线 ， 以 及 选择 哪些 方块 会 阻挡 对 手 完成 连 线 。 但 计算 机 程序 无 法 对 这 
些 方 格 进行 可 视 化 ， 而 是 为 每 个 方 格 分 配 一 个 1 一 9 的 数字 ( 如 图 1.2 
FR) ， 并 识别 获胜 组 合 (例如 1、2、3 和 1、5、9 ) 。 


图 1.2 匹配 数字 后 的 井 字 游戏 


计算 机 程序 会 算出 1 一 9 的 可 能 序列 ， 识 别 各 玩家 的 最 佳 策略 ， 并 假设 
对 手 会 选择 的 最 佳 策略 。 一 旦 软件 编写 调试 完成 ， 就 会 立即 显示 出 最 
佳 策 略 。 


假设 玩家 乙 采用 最 佳 策略 ， 如 果 玩 家 甲 从 中 心 格 或 任 一 边 角 格 起 步 ， 
玩家 乙 就 选择 相反 的 方式 一 一 如 果 玩 家 甲 选择 中 心 格 ， 玩 家 乙 则 选择 
边 角 格 ; 如 果 玩 家 甲 选 择 边 角 格 ， 玩 家 乙 则 选择 中 心 格 。 采 用 最 佳 策 
略 的 游戏 总 会 以 平局 结束 。 


这 就 是 谈 力 计算 ， 不 涉及 逻辑 推理 ， 只 是 无 意识 地 枚 举 数 字 1 一 9 的 排 
列 和 识别 获胜 排列 。 


在 井 字 游戏 和 其 他 游戏 中 ， 人 类 通常 会 避免 对 所 有 可 能 的 移动 序列 进 
行 蛮 力 计算 ， 因 为 这 样 一 来 移动 序列 的 可 能 性 就 会 暴 增 。 相 反 ， 我 们 
使 用 逻辑 推理 ， 并 将 注意 力 集中 在 有 意义 的 走 法 上 。 与 变 力 计算 程序 
不 同 ， 人 类 不 会 浪费 时 间 思 考 明显 错误 的 步 又。 而 没有 妇 辑 和 常识 的 
计算 机 却 还 是 会 分 析 愚 蠢 的 策略 。 


玩 井 字 游 戏 时 ， 人 类 玩家 可 能 会 研究 3 x 3 网 格 ， 而 计算 机 玩 的 是 1 一 9 
的 数字 。 人 类 会 采用 可 视 化 的 方法 ， 将 注意 力 集中 到 中 心 格 上 ， 意识 
到 这 一 格 蕴 含 四 个 获胜 排列 ， 而 每 个 边 角 格 蕴含 三 个 ， 每 个 边 格 蕴 合 
两 个 。 


中 心 格 也 是 极 佳 的 防守 走 法 ， 因 为 接 下 来 玩家 乙 无 论 选择 哪 一 格 ， 最 
多 只 蕴含 两 个 获胜 排列 。 相 反 ， 若 玩家 甲 先 选 边 角 格 或 边 格 ， 就 会 让 
对 方 占据 中 心 格 ， 减 少 了 自己 的 一 个 获胜 排列 ， 同 时 为 对 方 创造 了 三 
个 获胜 机 会 。 


从 逻辑 上 讲 ， 似 乎 起 步 最 好 选中 心 格 ， 最 后 选 边 格 。 人 类 对 棋盘 的 这 
种 可 视 化 认 知 和 对 中 心 格 战略 价值 的 判断 ， 完 全 不 同 于 软件 程序 对 数 
字 1~9 所 有 排列 的 无 意识 识别 。 


人 类 也 能 发 现 游戏 的 对 称 性 ， 即 四 个 边 角 格 任 选 其 一 开盘 都 同样 可 取 
(或 不 可 取 ) 。 因 此 ， 人 类 只 需 思考 选择 其 一 的 后 果 ， 选 择 其 他 三 个 
边 角 格 的 后 果 就 同 理 可 得 。 游 戏 的 对 称 性 让 人 类 每 走 一 步 都 能 减少 需 
要 考虑 的 移动 步 数 。 最 后 ， 人 类 会 发 现 某 些 走 法 能 迫使 对 手 选择 对 其 
不 利 的 方 格 ， 从 而 阻止 对 手 完 成 三 格 连 线 。 


人 类 能 够 运用 战略 性 思维 找 出 最 佳 策略 ， 并 发 现 采 用 最 佳 策略 总 会 打 
成 平局 。 有 经 验 的 人 还 会 发 现 ， 同 孩子 玩 游戏 时 不 按 常规 出 牌 有 时 也 
能 够 获胜 ， 例 如 开局 选择 边 角 格 ， 甚 至 边 格 。 


具有 讽刺 意味 的 是 ， 尽 管 人 类 可 以 运用 逻辑 找 出 最 佳 策略 ， 但 人 类 编 
写 的 计算 机 软件 程序 还 是 有 可 能 击败 人 类 的 ， 因 为 计算 机 无 须 考虑 自 
己 的 走 法 。 井 字 游 戏 的 计算 机 程序 只 要 遵守 编程 规则 即 可 。 相 比 之 
下 ， 人 类 每 走 一 步 都 必须 思考 ， 最 后 会 疲惫 不 堪 导 致 犯错 。 

计算 机 相 比 于 人 类 的 优势 跟 “ 智 能 ”的 一 般 含义 毫 无 关联 。 正 是 人 类 编 
写 出 能 识别 最 佳 策 略 并 存储 于 计算 机 内 存 中 的 软件 ， 计算 机 才 有 规律 
可 循 。 


尽管 井 字 游戏 这 款 儿 童 游戏 会 越 玩 越 无 聊 ， 但 它 是 很 好 的 例子 ， 凸 显 
了 计算 机 软件 的 威力 和 局 限 性 。 计 算 机 程序 对 于 烦琐 的 计算 用 处 极 


大 ， 编 程 软件 每 次 的 答案 都 完全 一 致 ， 还 能 不 大 其 烦 地 完成 已 编程 好 
的 任务 。 与 人 类 相 比 ， 计 算 机 的 处 理 速 度 更 快 、 保 存 的 信息 更 多 。 


人 类 怎 能 奢望 在 以 信息 记忆 和 处 理 速度 为 胜 的 活动 上 与 计算 机 竞争 
DE ? 也 许 真正 的 奇迹 不 是 计算 机 的 强大 ， 而 是 人 类 还 在 很 多 方面 比 计 
算 机 更 胜 一 筹 。 遵 循 规 则 与 人 类 毕生 所 获得 的 智慧 ， 两 者 天 差 地 别 。 


人 类 的 智慧 使 我 们 能 够 识别 出 含义 模糊 的 语言 和 扭曲 的 图 像 ， 对 问题 
追根 溯源 ， 应 对 异常 情况 以 及 很 多 虽 遵 循 规 则 却 无 法 处 理 的 事情 。 


国际 跳棋 


国际 跳棋 比 井 字 游 戏 复 杂 得 多 ， 实 际 上 ， 它 复杂 到 根本 无 法 对 所 有 可 
能 的 移动 序列 进行 谈 力 分 析 。 所 以 ， 你 可 能 认为 计算 机 必须 模仿 人 类 
的 思维 才能 下 好 国际 跳棋 。 然 而 并 非 如 此 。 


国际 跳棋 采用 灰白 棋 格 相间 的 8 x 8 棋盘 ( 如 图 1.3 所 示 ) 。 只 能 走 灰 
色 棋 格 ， 也 就 是 说 可 走 方 格 的 数量 从 64 个 减 到 32 个 。 两 方 玩 家 每 方 各 
有 12 枚 棋子 ， 放 置 于 己方 的 灰色 棋 格 内 ， 中 间 的 8 个 灰色 棋 格 留 空 。 
棋子 可 沿 灰色 棋 格 对 角 移 动 ， 跳 吃 对 方 棋子 。 
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图 1.3 国际 跳棋 棋盘 


在 理论 上 ， 尽管 所 有 可 能 的 序列 都 有 无 限 步 数 ， 蛮 力 分 析 还 是 可 以 识 
别 出 最 佳 策 略 的 ， 就 像 玩 井 字 游 戏 那 样 。 但 是 ， 对 目前 的 计算 机 来 
说 ， 在 合理 时 间 范 围 内 要 分 析 的 可 能 序列 数量 过 于 庞大 。 因 此 ， 人 类 
想 出 了 简化 策略 来 利用 计算 机 的 能 力 。 与 井 字 游戏 一 样 ， 国 际 跳棋 的 
计算 机 程序 不 会 尝试 制定 逻辑 策略 ， 而 是 利用 计算 机 的 优势 一 一 快速 
处 理 和 绝 佳 记忆 。 


井 字 游戏 走 九 步 就 结束 了 ， 而 国际 跳棋 有 无 限 步 数 ， 因 为 玩家 可 以 在 
没有 哪 方 获胜 的 情况 下 不 断 来 回 移动 棋子 。 实 际 上 ， 来 回 移动 棋子 很 
无 聊 ， 所 以 除非 有 一 方 犯 了 非常 低级 的 错误 ， 否则 玩家 会 在 明显 无 法 
出 现 赢 家 时 同意 和 棋 。( 冷酷 无 情 的 国际 跳棋 程序 永远 不 会 同意 和 
棋 ， 而 是 会 一 直 玩 到 人 类 对 手 精疲力竭 ， 累 到 无 法 清晰 思考 而 犯 
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虽然 国际 跳棋 游戏 的 步 数 不 受 限 制 ， 但 能 走 的 棋盘 位 置 还 是 固定 的 。 

用 不 着 算出 所 有 可 能 的 移动 序列 ， 国 际 跳棋 计算 机 程序 更 好 的 做 法 是 
查看 所 有 可 能 的 棋盘 位 置 ， 然 后 确定 在 这 些 位 置 的 走 法 哪些 得 势 、 哪 
些 失 势 。 

尽管 如 此 ， 这 项 任务 还 是 让 人 发 朵 。 棋 盘 走 位 有 5 万 亿 种 可 能 ， 在 没 
有 考虑 到 所 有 接 下 来 可 能 的 位 置 序列 的 情况 下 ， 很 难 真 正确 定 走 这 一 
步 是 否 会 得 势 。 

人 类 以 其 洞察 力 将 游戏 分 为 三 部 分 ( 开盘、 中 场 和 残局 ) ， 单 独 分 析 
每 个 部 分 ， 最 后 串联 起 来 ( 如 图 1.4 所 示 ) 。 


开盘 


残局 


图 1.4 国际 跳棋 的 决策 树 模型 


开盘 的 那 几 步 棋 已 有 写 好 的 “剧本 ”, 表明 了 最 佳 的 开盘 走 法 、 每 种 开 
盘 的 最 佳 应 对 方式 等 。 这 些 剧 本 是 国际 跳棋 玩家 几 百 年 积累 下 来 的 集 
体 智 慧 。 每 名 严肃 的 国际 跳棋 玩家 都 会 研究 这 些 剧本 。 编 写 国际 跳棋 
程序 代码 的 软件 工程 师 也 会 把 剧本 加 载 到 计算 机 内 存 中 ， 计 算 机 会 在 
开盘 时 遵守 这 些 规 则 。 


到 了 残局 阶段 ， 如果 棋盘 上 只 剩 两 枚 棋子 ， 则 位 置 数量 相对 有 限 ， 而 


如 果 剩 下 三 枚 棋子 ， 则 位 置 数量 会 增加 ， 但 还 在 可 控 范围 ， 以 此 类 
推 。 对 于 每 个 可 能 的 位 置 ， 人 类 玩家 能 计算 出 最 佳 走 法 ， 同 时 确定 最 
佳 走 法 是 否 会 造成 平局 或 出 现 胜 方 。 所 剩 棋子 数 越 多 ， 可 能 位 置 的 数 
量 就 越 多 ， 但 很 多 都 容易 解决 ， 并 且 棋 盘 的 对 称 性 也 会 减少 必须 分 析 
的 位 置 的 数量 。 人 类 分 析 完 包含 所 有 可 能 棋盘 位 置 的 全 部 残局 的 情况 
后 ， 比方 说 还 剩 不 到 六 枚 棋子 ， 那 么 每 个 位 置 的 残局 最 佳 走 法 就 会 被 
加 载 到 计算 机 内 存 中 。 


游戏 进行 到 预先 加 载 的 残局 位 置 时 ， 计 算 机 便 按照 人 类 预先 确定 的 最 
佳 走 法 的 规则 沙子 。 人 机 对 抗 的 跳棋 残局 中 ， 人 类 玩家 每 走 一 步 ， 计 
算 机 就 会 从 数据 库 中 选 出 预先 确定 好 的 最 佳 走 法 来 应 对 新 的 棋盘 位 
置 ， 一 直 持 续 到 比赛 结束 ， 通 常 结果 是 一 方 认 输 或 双方 同意 和 棋 。 


在 游戏 进行 到 中 场 时 ， 计 算 机 会 试图 将 开盘 剧本 与 残局 位 置 联系 起 
来 。 如 果 开 盘 几 步 之 后 ， 游 戏 进行 到 已 存储 的 残局 位 置 ， 则 游戏 结果 
可 想 而 知 ( 假设 为 最 佳 玩法 ) 。 


可 供 蛮 力 分 析 来 识别 最 佳 序列 的 中 场 局 势 数 不 胜 数 ， 因 此 程序 员 会 将 
人 类 在 跳棋 领域 的 智慧 与 计算 机 的 能 力 结合 起 来 ， 列 举 各 种 序列 。 如 
果 计 算 机 有 足够 的 能 力 和 时 间 预 测 接 下 来 的 四 步 ， 那 么 计算 机 就 会 预 
测 这 四 步 可 能 产生 的 所 有 序列 ， 并 使 用 人 类 特定 的 损失 函数 (loss 
function ) 来 比较 四 步 后 所 有 的 可 能 位 置 。 损 失 函 数 也 是 基于 人 类 几 
个 世纪 的 经 验 ， 考 虑 了 被 认为 重要 的 因素 ， 例 如 ， 每 个 玩家 拥有 的 棋 
子 数 和 对 棋盘 中 心 位 置 的 控制 。 国 际 跳棋 专家 建议 程序 员 为 不 同 因 素 
分 配 权重 ， 以 反映 每 个 因素 的 重要 性 。 


计算 机 通常 会 选择 “最 大 最 小 值 归 一 化 ”( minmax ) 的 走 法 ， 因 此 它 
可 以 在 最 坏 情 况 下 ( 即 最 大 值 ) 让 可 能 造成 的 损失 最 小 化 ( 即 最 小 
值 ) 。 如 果 另 一 个 玩家 采用 最 佳 走 法 ， 程 序 则 选择 损失 最 小 (或 收益 
最 大 ) 的 走 法 。 


经 过 几 个 回合 的 中 场 比拼 后 ， 棋 子 数 缩小 到 前 瞻 计 算 可 以 得 出 已 知 残 
局 结果 的 水 平 。 假 设 这 是 最 佳 玩 法 ， 那 么 游戏 基本 上 结局 已 定 。 如 果 
人 类 玩家 犯错 ， 则 游戏 结束 得 更 快 。 

值得 注意 的 是 ， 计 算 机 程序 中 “智能 ”的 含量 极 少 。 在 游戏 开始 时 ， 计 
算 机 程序 必须 遵守 开盘 提示 ; 中 场 游戏 期 间 ， 计 算 机 程序 确定 前 瞻 序 
列 ， 并 使 用 人 类 规定 的 损失 函数 ， 按 部 就 班 地 决定 走 法 ; 进入 最 后 阶 
段 ， 计 算 机 程序 还 得 依照 残局 指令 运行 。 


为 国际 跳棋 、 国 际 象棋 、 围 棋 等 复杂 游戏 而 设计 的 计算 机 程序 并 不 试 


图 模仿 人 类 思维 ， 这 涉及 对 潜在 取胜 原则 的 创造 性 认识 。 编 写 计 算 机 
程序 是 为 了 利用 计算 机 的 优势 一 一 无 懈 可 击 的 记忆 能 力 和 毫 无 差错 包 
规则 遵守 。 


国际 跳棋 的 计算 机 程序 与 人 类 玩家 相 比 有 几 个 重要 优势 : 它 永 远 不 会 
在 开盘 和 结束 时 犯错 。 人 类 玩家 可 能 已 研究 过 国际 跳棋 手册 ， 但 人 类 
没有 完美 的 记忆 能 力 ， 还 是 会 犯错 。 没 有 人 思考 过 ， 更 不 用 说 记 住所 
有 可 能 出 现 的 残局 序列 ， 其 中 有 些 还 需要 几 十 步 精 确 走 法 才能 得 到 最 
佳 结果 ， 人 类 只 能 在 仓促 之 间 找 到 最 佳 走 法 。 而 计算 机 的 数据 库 中 加 
载 了 最 佳 序列 ， 可 以 做 到 这 一 点 。 


国际 跳棋 游戏 中 ， 人 类 击败 计算 机 的 唯一 机 会 在 中 场 。 人 类 的 预测 能 
力 可 能 不 如 计算 机 ， 计 算 机 会 分 析 不 同 走 法 背后 大 量 的 可 能 序列 ， 但 
人 类 玩家 能 更 好 地 把 握 特 定位 置 的 战略 价值 。 例 如 ， 人 类 玩家 可 能 会 
认识 到 ， 控 制 棋盘 中 间 位 置 的 重要 程度 比 计 算 机 损失 函数 给 出 的 权重 
更 高 ， 或 者 计算 机 控制 中 间 位 置 的 数值 测量 可 能 有 误 ， 又 或 者 中 间 位 
置 的 最 终 控 制 无 法 依靠 测量 目前 局 势 得 知 。 


计算 机 的 最 后 一 个 优点 是 它 不 会 票 。 高 水 平 国际 跳棋 游戏 可 以 持续 两 
个 多 小 时 。 由 于 大 多 数 国际 跳棋 对 决 是 以 平局 结束 的 ， 因 此 跳棋 锦标 
赛会 安排 很 多 场 比赛 ， 一 个 多 星期 下 来 可 能 每 天 都 会 有 四 场 。 人 类 玩 
家 每 天 的 比赛 时 间 为 8~10 个 小 时 ， 一 天 接着 一 天 ， 他 们 会 疲惫 不 

堪 ， 容 易 出 错 。 但 计算 机 不 会 疲倦 ， 因 为 它 不 需要 思考 ， 只 要 服从 就 
好 。 


史上 最 优秀 的 国际 跳棋 选手 是 传奇 人 物 马 里 恩 . 廷 斯 利 。 他 是 一 个 神 
童 ， 开 始 念书 的 头 八 年 就 跳 了 四 级 ， 后 来 成 为 专攻 组 合 分 析 的 数学 教 
授 。 小 时 候 ， 他 每 周 用 五 天 ， 这 五 天 每 天 用 八 个 小 时 来 学 习 国 际 跳 
棋 。 读 研 期 间 ， 他称 自 己 已 经 花 了 一 万 个 小 时 研究 国际 跳棋 。 到 了 20 
多 岁 ， 他 基本 上 已 无 人 能 敌 。 


有 12 年 时 间 ， 廷 斯 利 不 再 参加 国际 跳棋 锦标 赛 ， 据 称 是 因为 他 觉得 非 
常 保守 的 对 手 很 无 聊 一 一 他 们 希望 的 最 好 成 绩 是 平局 。 后 来 重 返 赛场 
的 他 于 1991 年 再 次 退役 ， 时 年 63 岁 。1992 年 他 又 被 国际 跳棋 程序 奇 
努 克 (Chinook) 团队 的 创建 负责 人 、 数 学 教授 乔纳森 - 谢 弗 请 回 赛 
场 。 谢 弗 的 研究 团队 有 三 个 人 ， 分 别 负 责 开盘 数据 库 、 残 局 数据 库 和 
中 场 损失 上 浮 数 。 


在 1992 年 廷 斯 利和 奇 努 克 的 40 场 比赛 中 ， 大 部 分 是 平局 。 廷 斯 利 赢 
了 第 5 场 比 赛 ， 那 场 比赛 中 奇 努 克 遵 从 了 已 加 载 在 其 剧本 中 的 一 种 次 
优 走 法 。 廷 斯 利 输 了 第 8 场 比 赛 ， 将 其 归 因 为 疲劳 过 度 。 到 了 第 14 场 


比赛 ， 奇 努 克 采用 了 数据 库 中 廷 斯 利多 年 前 使 用 过 的 一 连 串 走 法 ， 但 
廷 斯 利 忘 记 了 ， 因 此 输 了 比赛 。 后 因 奇 努 克 发 生 故 障 ， 迁 斯 利 拿 下 了 
第 18 场 比赛 。( 计算 机 也 会 疲 芳 ? ) 随后 ， 廷 斯 利 还 取得 了 第 25 场 和 
第 39 场 比赛 的 胜利 ， 最 终 以 4 胜 2 负 33 平 的 成 绩 取 胜 。 


这 是 人 类 大 战机 器 中 人 类 的 一 次 胜利 ， 但 两 场 比赛 的 失利 ， 却 是 廷 斯 
利 45 年 国际 跳棋 职业 生涯 中 仅 有 的 两 次 。 


谢 弗 极 大 地 扩充 了 奇 努 克 的 开盘 和 残局 数据 库 ， 还 将 中 场 的 前 瞻 能 
从 17 步 增加 到 了 19 步 。1994 年 ， 他 要 求 再 进行 一 次 对 决 。 前 六 场 比 
赛 为 平局 ， 不 过 廷 斯 利 认为 奇 努 克 的 水 平 已 经 得 到 提升 。 他 表示 ， 在 
奇 努 克 的 残局 数据 库 足够 巨大 以 至 于 不 会 出 错 之 前 ， 他 只 有 10~12 步 
的 机 会 能 获得 领先 优势 。 可 惜 的 是 ， 迁 斯 利 因 患 胰腺 癌 而 不 得 不 放弃 
LE, 并 于 7 个 月 后 与 世 长 辞 。 


廷 斯 利 的 记忆 力 惊人 。1992 年 第 一 次 比赛 后 ， 他 给 谢 弗 讲 了 自己 40 
多 年 前 的 一 场 比 赛 ， 他 仍 能 准确 无 误 地 记 住 每 一 步 。 尽 管 如 此 ， 他 的 
记忆 力 还 是 无 法 与 强大 的 计算 机 匹敌 。 廷 斯 利 真 正 拥 有 的 是 通过 多 年 
研究 和 实践 积累 的 棋 感 ， 奇 努 克 绝 不 可 能 对 位 置 的 优势 有 相同 的 直 


na 
Bho 


在 决胜 局 前 的 14 场 展示 赛 中 ， 廷 斯 利和 奇 努 克 有 13 场 平局 ， 第 10 场 
为 廷 斯 利 获胜 ， 谢 弗 随 后 描写 了 这 场 决定 性 的 比赛 : 


我 走 下 了 奇 努 克 的 第 10 步 。 刚 放下 棋子 ， 廷 斯 利 就 
惊讶 地 抬 起 头 说 ;“ 你 会 后 悔 的 。 ”我 尚未 领略 过 伟大 
的 廷 斯 利 的 行事 风格 ， 默 默 地 坐 在 那里 ， 心 想 : “你 
知道 什么 ， 我 的 程序 正在 搜索 后 20 步 的 可 能 性 ， 表 
示 它 占 优 势 。 ”再 走 几 步 后 ， 奇 努 克 的 评估 降 至 旗 鼓 
相当 。 又 走 了 几 步 后 ， 它 表示 廷 斯 利 更 占 上 风 。 后 
来 ， 奇 努 克 说 它 遇 到 了 麻烦 。 最 后 ， 越 下 越 糟 ， 我 们 
只 好 投降 了 。 在 廷 斯 利 的 比赛 日 志 中 ， 他 透露 自己 已 
经 预料 到 残局 ， 在 第 11 步 就 知道 他 会 赢 ， 也 就 是 我 
们 出 错 的 下 一 步 。 而 奇 努 克 需 要 预测 后 60 步 ， 才 能 
知道 它 的 第 10 步 下 错 


廷 斯 利 去 世 后 ， 奇 努 克 与 世界 排名 第 二 的 国际 跳棋 选手 唐 . 拉 弗 蒂 进行 
了 32 场 比赛 ， 并 以 1 胜 31 平 取胜 。1996 年 ， 奇 努 克 退 出 国际 跳棋 锦标 
赛 ， 不 过 你 可 以 在 线 对 战 低 配 版 的 奇 努 克 。 退 赛 后 ， 奇 努 克 同 数 十 台 
差不多 连续 运行 了 18 年 的 计算 机 一 起 工作 ， 以 检验 确认 国际 跳棋 玩家 
在 先 走 并 且 每 一 步 都 是 最 佳 走 法 的 情况 下 是 否 可 以 保证 取胜 。 


2007 年 ， 谢 弗 宣 布 国际 跳棋 和 并 字 游 戏 一 样 ， 也 是 一 款 极 好 的 权衡 游 
戏 ， 如 果 每 个 玩家 都 能 选择 最 佳 走 法 ， 则 可 以 保证 平局 。 这 是 计算 机 
的 一 项 壮举 ， 但 我 不 会 称 其 为 智能 。 


下 一 代 的 计算 机 游戏 程序 采取 了 不 同 的 做 法 ， 即 试 错过 程 一 一 计算 机 
跟 自己 比赛 数 百 万 次 ， 同 时 记录 取胜 方式 。 一 款 名 为 AlphaGo ( 阿尔 
法 围棋 ) 的 程序 采用 了 这 种 方法 ， 击 败 了 世界 上 最 顶尖 的 围棋 手 。 此 
外 ， 另 一 款 名 为 AlphaZero ( 阿尔 法 零 ) 的 程序 还 击败 了 最 好 的 计算 
机 国际 象棋 程序 。 这 些 程序 都 能 极 好 地 执行 范围 狭 容 、 目 标明 确 的 任 
务 (“将 ”对 手 的 军 )， 但 不 会 像 人 类 那样 分 析 棋盘 游戏 ,思考 为 什么 
某 些 策略 会 成 功 。 即 使 是 计算 机 编码 员 也 不 明白 为 什么 他 们 的 程序 有 
时 会 选择 不 寻常 的 甚至 是 奇怪 的 特定 走 法 。 


创建 AlphaGo 和 AlphaZero 的 公司 DeepMind ( 深度 思考 ) 的 首席 执行 
官 戴 密斯 : 哈 萨 比 斯 举 了 个 例子 。 在 一 场 国际 象棋 比赛 中 ，AlphaZero 
将 “后 ” 移 到 棋盘 的 边 角 格 ， 这 与 人 类 想法 相 矛 盾 ， 因 为 国际 象棋 中 最 
厉害 的 “后 ?在 棋盘 中 间 位 置 会 更 加 强大 。 在 另 一 场 比赛 中 ， 
AlphaZero 牺 牲 了 “后 ?和 一 个 “ 象 ”， 而 对 人 类 玩家 来 说 ， 除 非 可 以 立 
即 获 得 回报 ， 否 则 几乎 不 会 这 样 走 。 哈 萨 比 斯 说 :“AlphaZero 与 人 类 
的 玩法 不 同 ， 与 编程 的 玩法 也 不 同 。 它 采用 第 三 种 玩法 ， 似 乎 是 外 星 
人 般 陌 生 怪 异 的 玩法 。” 


尽管 在 棋盘 游戏 中 具有 怪异 的 超人 技巧 ， 但 计算 机 程序 并 不 具备 类 似 
人 类 智慧 和 常识 的 东西 。 这 些 程序 不 具备 处 理 不 熟悉 的 情况 、 不 明确 
的 条 件 、 模 糊 的 规则 以 及 含糊 甚至 相互 矛盾 的 目标 所 需 的 一 般 性 智 
能 。 决 定 去 哪里 吃 晚 餐 、 是 否 接受 一 份 工作 、 跟 谁 结婚 ， 都 与 “ 象 " 走 
三 步 “ 将 ”对 方 的 军 截然 不 同一 一 这 就 是 为 什么 让 计算 机 程序 为 我 们 做 
决定 是 危险 的 ， 不 管 它们 多 擅长 棋盘 游戏 。 


File does not exist 


第 3 音 
无 语 境 的 符号 


人 类 拥有 无 价 的 现实 世界 知识 ， 我 们 用 积累 了 一 辈子 
的 经 验 来 帮助 自己 认 知 、 理 解 和 预测 。 而 计算 机 没有 
这 种 可 以 指导 自己 的 现实 世界 经 验 ， 因 此 ， 它 必须 依 
赖 数据 库 里 的 统计 学 模式 ， 这 或 许 会 有 所 帮助 ， 但 肯 


定 会 出 错 。 


我 们 使 用 情绪 和 逻辑 来 构建 有 助 于 理解 所 见 所 闻 的 概念 。 看 见 一 只 
狗 ， 眼 前 就 能 出 现 其 他 狗 的 形象 ， 想 起 猫 与 狗 的 相同 和 不 同 之 处 ， 或 
料 到 这 只 狗 会 追赶 身边 的 猫 。 或 许 我 们 还 记得 儿 时 的 宠物 ， 或 者 回忆 
起 以 往 遇 到 狗 的 经 历 。 想 到 友好 忠诚 的 狗 ， 我 们 也 许 会 面 露 微笑 ， 想 
摸 摸 它 ， 或 扔 根 棍子 引 它 追 取 ; 想到 曾 把 自己 吓 得 半死 的 亚 狗 ， 我 们 
可 能 会 退 避 三 舍 ， 和 它 保 持 距离 。 


这 些 都 是 计算 机 力 所 不 及 的 事情 。 对 计算 机 来 说 ， 狗 、 老 虎 和 XyB3c 
这 种 无 意义 的 数字 与 字母 的 组 合 没有 太 大 区 别 ， 只 不 过 是 不 同 的 符号 
而 已 。 计 算 机 能 统计 出 一 篇 故事 中 “ 狗 ” 这 个 词 用 了 几 次 ， 检 索 关 于 狗 
的 事实 情况 ( 如 狗 有 几 条 腿 )， 但 不 会 像 人 类 那样 理解 词语 ， 

对 “ 狗 ” 这 个 词 也 不 会 出 现 人 类 那样 的 反应 。 


现实 世界 经 验 的 缺失 ， 通 常 在 试图 解读 词语 和 图 像 的 软件 中 暴露 无 
B. 


翻译 软件 与 理解 语言 


语言 翻译 软件 程序 可 以 把 某 种 语言 的 书面 或 口头 语句 ， 转 换 成 另 一 种 
语言 的 对 等 语句 。20 世 纪 50 年 代 ， 乔 治 敦 大 学 和 IBM 的 合作 小 组 展示 
了 机 器 翻译 一 一 利用 250 个 词汇 和 6 项 语法 规则 把 60 个 句子 从 俄语 翻 

译 成 美语 。 该 团队 的 首席 科学 家 预测 ， 输 入 更 大 数量 的 词汇 和 更 多 语 
法 规则 后 ， 翻 译 程序 在 3 一 5 年 内 就 可 达到 完美 。 他 真是 异想天开 ! 他 
对 计算 机 太 过 自信 了 。 如 今 60 多 年 过 去 了 ， 虽 然 翻译 软件 的 表现 不 同 
凡响 ， 但 是 仍 远 远 达 不 到 完美 。 发 展 路 上 的 绊脚石 都 具有 局 发 意义 。 


人 类 在 翻译 语句 的 时 候 ， 会 先 将 其 放 在 语 境 中 思考 ( 作者 是 什么 意 
T) ， 然 后 用 另 一 种 语言 表达 这 一 内 容 。 翻 译 程序 并 没有 考虑 语 境 ， 


因为 它们 无 法 理解 内 容 的 意思 。 


翻译 程序 识别 输入 语句 中 的 词汇 和 短语 ， 在 已 经 由 人 工 翻译 好 的 文本 
数据 库 中 搜索 ， 寻 找 输出 语句 的 对 应 词汇 和 短语 。 同 时 还 寻求 可 消除 
歧义 的 数据 模式 。 例 如 ， 包 含 baseball ( 棒球 ) 一 词 的 句子 中 出 现 了 
bat 这 个 名 词 ， 该 名 词 含有 棒球 棒 和 蝙蝠 两 种 含义 。 而 翻译 程序 选 定 


最 有 可 能 正确 的 词语 后 ， 输 出 的 句子 是 输出 语言 按照 特定 的 语法 规则 
构成 的 。 


很 多 机 器 翻译 程序 ， 包 括 谷歌 翻译 ， 目 前 都 采用 深度 神经 网 络 ( deep 
neural networks) 。 这 种 网 络 虽 然 受 启发 于 人 脑 的 神经 网 络 ， 但 并 不 
能 模仿 人 脑 ， 因 为 我 们 对 人 脑 是 如 何 运 作 的 探索 几乎 还 停留 在 表面 。 
深度 神经 网 络 比 早期 的 翻译 程序 更 加 复杂 ， 听 上 去 也 更 吸引 人 ， 但 仍 
然 只 是 试图 匹配 词汇 和 短语 ， 然 后 连词 成 名 的 数学 程序 而 已 。 和 较 早 
的 翻译 程序 一 样 ， 当 前 的 深度 神经 网 络 每 次 在 翻译 语句 时 ， 都 没有 试 
图 去 理解 作者 想 表 达 的 意思 。 


深度 神经 网 络 改善 了 语言 翻译 ( 以 及 视觉 识别 等 很 多 任务 ) ， 但 还 是 
受 限于 现实 状况 。 计 算 机 不 像 人 脑 ， 并 不 能 真正 理解 词汇 、 图 像 和 生 
活 。 无 论 未 来 计算 机 多 么 强大 ， 即 使 它 能 够 识别 关键 词 和 短语 、 查 找 
匹配 其 他 语言 的 词汇 和 短语 、 将 匹配 结果 按照 语法 规则 排序 ， 但 这 些 
都 不 算是 阅读 或 写作 ， 与 传达 意思 并 非 一 回 事 。 


机 器 的 翻译 速度 很 快 ， 并且 通 常 都 能 完成 得 不 错 。 但 有 时 候 也 会 意思 
表达 不 完整 ， 译 文 令 人 不 解 或 啼笑 皆 非 。 霍 夫 施 塔 特 给 出 以 下 例子 : 


In their house, everything comes in pairs. There’s 
his car and her car, his towels and her towels, and 
his library and hers. 


( 在 他 们 的 房子 里 ， 所 有 东西 都 有 两 份 。 他 有 他 的 
车 ， 她 也 有 她 的 车 ; 他 有 他 的 浴巾 ， 她 也 有 她 的 浴 
巾 ; 他 有 他 的 书房 ， 她 也 有 她 的 书房 。 ) 


霍 夫 施 塔 特 用 谷歌 翻译 先 将 这 句 话 翻译 成 法 语 ， 再 回 译 成 英语 ， 结 果 
如 下 : 
In their house, everything comes in pairs. There’s 


his car and his car, his towels and his towels, and 
his library and his. 


( 在 他 们 的 房子 里 ， 所 有 东西 都 有 两 份 。 他 有 他 的 
车 ， 他 也 有 他 的 车 ; 他 有 他 的 浴巾 ， 他 也 有 他 的 浴 
巾 ; 他 有 他 的 书房 ， 他 也 有 他 的 书房 。 ) 


第 一 句 意思 明确 ， 译 文 没 问 题 。 第 二 句 却 出 现 了 偏差 ， 因 为 包括 法 语 
在 内 的 罗曼 语族 在 语法 上 有 “性 ”的 区 分 。 


不 过 ， 问 题 不 仅 在 于 her (她 ) 在 译文 中 没有 体现 出 来 。 谷 歌 翻译 并 

不 理解 ( 甚至 没有 想 要 理解 ) 第 二 句 话 是 什么 意思 。 通 过 观察 亲 威 朋 
友和 自身 情况 ， 人们 都 知道 大 多 数 伴侣 乐于 彼此 分 享 。 但 这 句 话 告诉 
我 们 的 是 ， 即 便 这 俩 人 生活 在 同一 个 屋檐 下 ， 也 宁愿 各 用 各 的 浴巾 、 

Æ, PE, (BE) 还 有 更 多 其 他 东西 。 计 算 机 程序 没有 生活 经 历 ， 
无 法 进行 这 样 的 观察 ， 也 就 不 知道 第 二 句 话 想 表 达 的 意思 ， 不 会 试图 
重 现 其 含义 。 这 并 非 计算 机 能 力 或 编程 错误 的 问题 ， 只 是 反映 出 一 个 
事实 一 一 翻译 程序 和 所 有 计算 机 程序 一 样 ， 无 法 理解 概念 和 想法 。 


霍 夫 施 塔 特 还 翻译 了 卡尔 . 西 格 蒙 德 用 德语 写 下 的 一 段 话 ， 请 了 两 名 母 
语 为 德语 的 人 以 及 西 格 蒙 德 自己 来 审 校 译文 : 


After the defeat, many professors with Pan- 
Germanistic leanings,who by that time constituted 
the majority of the faculty, considered it pretty 
much their duty to protect the institutions of higher 
learning from“undesirables” . The most likely to be 
dismissed were young scholars who had not yet 
earned the right to teach the main university 
classes. As for female scholars, well, they had no 
place in the system at all; nothing was clearer than 
that. 


( 战争 结束 后 ， 许 多 有 泛 日 耳 曼 倾向 的 教授 认为 ， 保 
持 高 等 学 府 不 被 “不 受 欢 迎 的 人 ”侵害 是 他 们 的 责任 。 
最 有 可 能 被 开除 的 是 那些 尚未 获得 教授 大 学 主要 课程 
权利 的 年 轻 学 者 。 至 于 女 学 者 ， 她 们 在 这 个 体系 中 根 
本 没有 地 位 ; 没有 什么 比 这 更 清楚 了 。 ) 


将 以 上 由 人 工 翻译 的 译文 与 以 下 谷歌 翻译 的 译文 进行 比较 : 


After the lost war, many German-National 
professors, meanwhile the majority in the faculty, 
saw themselves as their duty to keep the 


universities from the “odd”; Young scientists were 
most vulnerable before their habilitation. And 
scientists did not question anyway;There were few 
of them. 


( 失败 的 战争 结束 后 ， 许 多 德国 国家 教授 ， 同 时 也 是 
教职员 工 中 的 大 多 数 ， 认 为 自己 有 责任 让 大 学 远 
离奇 怪 ” 年轻 的 科学 家 在 适应 训练 之 前 最 容易 受到 
伤害 。 科 学 家 们 无 论 如 何 也 没有 质疑 ; 他 们 很 少 。 ) 


谷歌 翻译 的 译文 几乎 让 人 无 法 理解 ， 因 为 谷歌 翻译 并 没有 捕捉 到 文字 
的 意思 ， 它 只 不 过 是 翻译 单独 的 词汇 和 短语 ， 然 后 拼凑 在 一 起 。 


我 推荐 大 家 去 看 看 翟 夫 施 塔 特 列举 的 第 三 个 例子 ， 原 文 为 中 文 语 段 。 
谷歌 翻译 的 译文 ， 部 分 内 容 曲 解 了 原文 的 意思 ,还 有 部 分 内 容 毫 无 意 
义 。 


我 之 所 以 反复 强调 这 一 点 ， 是 因为 计算 机 能 够 思考 的 这 一 想法 太 诱 人 
了 。 认 为 它们 能 理解 世界 ， 提 出 可 靠 的 建议 和 决定 ， 这 是 一 种 错觉 。 
翻译 程序 的 缺陷 充分 说 明了 目前 计算 机 程序 的 能 力 与 局 限 。 


霍 夫 施 塔 特 认为 : 


谷歌 翻译 的 开发 者 无 意 让 谷歌 翻译 理解 语言 ， 而 是 在 
想方设法 地 避 开 理解 需求 。 他 们 并 不 想 用 文本 来 模仿 
构思 ， 只 想 用 语 段 触发 搜索 庞大 数据 库 中 的 其 他 语 
段 。 这 就 像 是 “ 迁 回 ”( end run ) 战术 ， 以 间接 方式 
理解 、 明 白 和 认识 语言 的 目的 。 在 我 看 来 ， 这 完全 自 
相 矛 盾 、 有 悖 常理 。 因 此 ， 尽 管 谷歌 翻译 表面 看 类 似 
人 脑 结构 ， 但 实际 上 ， 其 开发 者 在 尽 其 所 能 避 开 人 脑 
可 以 完成 的 事情 ， 即 理解 世界 。 


这 并 不 意味 着 计算 机 永远 都 不 可 能 模仿 人 类 思维 ， 但 如 果 程 序 员 不 做 
此 尝试 ， 或 接受 “ 迁 回 "战术 ， 计 算 机 就 不 会 具备 这 个 能 力 。 我 再 次 引 
用 霍 夫 施 塔 特 的 话 ， 和 计算 机 不 同 ， 他 能 言 善 道 : 


从 原则 上 说 ， 绝 对 没有 基本 性 哲学 解释 证 明 机 器 永远 
不 会 思考 、 创 造 、 有 趣 、 怀 旧 、 兴 和 盏 、 害 怕 、 狂 喜 、 
逆 来 顺 受 、 充 满 希 望 。 当 然 ， 同 理 可 得 ， 疫 有 理由 证 
明 机 器 不 能 翻译 出 好 的 译文 。 也 绝对 没有 基本 性 哲学 
解释 证 明 机 器 将 来 无 法 成 功 翻 译 笑话 、 双 关 语 、 漫 画 


书 、 电 影 剧 本 、 小 说 、 诗 歌 ， 当 然 还 有 类 似 本 书 的 论 
文 。 但 是 ， 这 一 切 只 有 在 机 器 能 做 到 像 人 类 一 样 有 生 
命 力 、 想 法 、 情 绪 和 经 历时 才能 实现 。 不 过 ， 这 不 会 
发 生 在 不 久 的 将 来 。 老 实说 ， 我 认为 是 遥遥 无 期 的 。 


威 记 格拉 德 模式 挑战 赛 


斯 坦 福 大 学 计算 机 科学 教授 特 里 : 威 诺 格拉 德 参与 发 起 了 后 来 为 人 所 熟 
知 的 威 诺 格拉 德 模式 挑战 赛 ( Winograd Schema Challenge), AF 
为 纽约 大 学 计算 机 科学 教授 欧 内 斯 特 - 戴 维 斯 编纂 收集 的 一 个 例子 : 


I can’t cut that tree down with that axe; it is too 
(thick/small ) . 


我 没 法 用 这 把 斧头 砍 倒 那 棵 树 ， 它 太 ( 粗 /小 ) 。 


如 果 括 号 里 的 词 为 thick (4) , Ait CE) 指 的 是 那 棵 树 ; 如 果 括 
号 里 的 词 为 small (小 ) , PBAit( 它 ) NMEA. ART 
有 两 个 名 词 ， 还 有 可 选择 的 单词 表明 代词 所 指 的 是 哪个 名 词 
人 类 立刻 就 能 理解 ， 但 这 对 计算 机 来 说 就 非常 准 了 ， 因 为 计算 机 没有 
现实 生活 经 验 来 提供 理解 词汇 的 语 境 。 


人 类 根据 生活 经 验 会 知道 如 果树 太 粗 或 斧头 大小， 都 很 难 砍 倒 树 。 而 
计算 机 无 法 理解 这 一 点 ， 因 为 它 没有 生活 经 验 可 以 借鉴 。 


著名 AI 研究 者 奥 伦 - 埃 奇 奥 尼 曾 说 ， 计 算 机 就 连 句 子 中 放 的 所 指 都 弄 不 
清楚 ， 还 怎么 谈 得 上 可 以 主 军 世界 。 


目前 ， 威 诺 格拉 德 模 式 挑 战 赛 设 奖金 2.5 万 美元 ， 奖 励 在 威 诺 格拉 德 
模式 下 解读 准确 率 达 到 90% 的 计算 机 程序 。 在 2016 年 的 挑战 赛 中 ， 最 
高 准确 率 为 58%， 最 低 为 32%， 概 率 变动 更 多 为 运气 因素 ， 而 非 计算 
程序 能 力 的 差异 。 值 得 注意 的 是 ， 谷 歌 和 脸 书 并 未 参赛 ， 放 弃 了 一 个 
炫耀 自家 软件 能 力 的 绝 佳 机 会 。 


计算 机 能 阅读 吗 ? 


鲍 勃 ; 迪 伦 荣获 诺 贝 尔 文学 奖 ， 获 奖 理由 为 “在 伟大 的 美国 歌曲 传统 中 
开创 了 新 的 诗歌 表达 ” 他 原名 为 罗伯特 : 艾 伦 : 齐 默 尔 曼 ， 后 随 威尔士 
诗人 迪 伦 .托马斯 更 名 为 鲍 勃 ' 迪 伦 。 他 后 来 解释 说 :“ 你 就 这 样 出 生 

了 ， 取 了 不 好 的 名 字 ， 来 到 了 错误 的 家 庭 。 人 生 有 时 就 是 如 此 。 你 可 


以 想 怎么 称呼 自己 ， 就 怎么 称呼 自己 。”20 世 纪 60 年 代 ， 迪 伦 以 抗议 
歌曲 为 特色 ( 尤其 天 于 公民 权利 和 越南 战争 ) ， 成 为 他 那个 时 代 的 代 


RAH. 


罗 杰 : 尚 克 作 为 50 多 年 前 开始 AI 研究 的 科学 家 ， 期 望 能 造 出 像 人 类 一 样 
思考 的 计算 机 ， 例 如 ， 像 人 类 那样 理解 语句 。 可 事实 证 明 ， 这 个 想法 
极 难 实现 ， 部 分 原因 是 我 们 并 没有 真正 理解 人 脑 是 如 何 运作 的 。 


20 世 纪 80 年 代 ，AI 的 发 展 绕道 而 行 ， 朝 商业 可 行 的 方向 发 展 ， 例如， 
研究 词汇 ( 易 做 ) ， 而 不 是 概念 〈 难 做 ) 。 计 算 机 擅长 保存 严谨 精确 
的 记录 和 检索 信息 一 一 这 对 搜索 引擎 来 说 至 天 重要 ， 但 是 与 认 知 思维 


例如 ， 计 算 机 可 以 搜索 全 文 查找 单词 betray (SR) ， 但 无 法 识别 出 
没有 使 用 betray 一 词 来 讲述 背叛 情节 的 故事 。 计 算 机 可 以 查找 单词 ， 
但 无 法 理解 其 意思 。2017 年 ， 尚 克 写 道 : 


我 担心 的 是 IJBM 关 于 “ 沃 森 ?程序 的 夸张 言论 。 最 近 , 
他 们 发 布 了 一 则 以 鲍 勃 ' 迪 伦 为 主角 的 广告 ， 让 我 捧 
腹 大 笑 ， 或 者 说 ， 会 让 我 捧腹 大 笑 ， 如 果 我 没有 堵 然 
大 她 的 话 。 我 想 说 多 大 实话 :“ 沃 森 ” 就 是 一 场 骗局 。 
并 不 是 说 它 不 能 处 理 词汇 ， 对 某 些 人 来 说 ， 词汇 处 理 
能 力 很 有 价值 。 但 是 ， 那 些 广告 纯 属 欺骗 。 

《广告 周刊 》 的 一 篇 文章 指出 ，“ 沃 森 ” 能 每 秒 阅读 8 000 万 页 内 容 ， 
识别 迪 伦 作品 的 关键 主题 ， 如 “时 光 流 逝 " 和 “ 爱 会 枯萎 ”, 这 证 明 它 和 
传统 编程 计算 机 不 一 样 ， 像 “ 沃 森 ” 一 样 的 认 知 系统 可 以 理解 、 推 理 和 
学 习 。 

还 是 让 它 好 好 做 个 单词 计数 器 吧 。 我 不 记得 迪 伦 用 过 civil rights (4 
民权 利 ) 或 Vietnam ( 越南 ) 这 些 词语 (“ 沃 森 ”肯定 不 用 一 秒 就 能 查 
到 )， 但 是 迪 伦 的 歌迷 一 一 人 类 一 一 知道 他 在 20 世 纪 60 年 代 的 写作 主 
题 是 什么 一 一 不 是 “时 光 流 逝 ”， 也 不 是 “ 爱 会 枯萎 ”。 


思考 一 下 歌曲 《时 代 在 变 》 (The Times They Are A-Changing ) 的 
开头 几 句 歌词 : 


大 家 集合 于 此 吧 
无 论 你 在 何 处 游 走 
承认 你 四 周 的 潮水 


已 经 日 渐 高 涨 
承认 吧 
不 久 后 你 就 会 被 淹没 


计算 机 很 容易 识别 、 列 举 和 计算 这 些 词语 ， 但 是 完全 不 明白 迪 伦 在 说 
什么 。 人 类 或 许 会 对 这 首 抗议 歌曲 有 很 多 不 同 的 解读 ( 大 多 数 伟大 的 
文学 作品 都 是 如 此 ) ， 但 是 他 们 的 解释 肯定 远 不 止 停留 在 识别 单个 词 
语 上 。 人 类 运用 词语 来 表达 意思 ( 并 不 总 是 直接 表达 ) ， 还 利用 语 境 
来 理解 其 他 人 的 话语 。 要 计算 机 掌握 这 种 最 基础 的 人 类 智能 ， 毫 无 希 


Bays, 


仔细 想 想 ， 哪 五 首 是 你 最 喜欢 的 歌 ?“ 沃 森 ? 会 明白 这 些 歌 曲 讲 的 是 什 
么 吗 ? 《 带 我 飞 向 月 球 》( Fly Me to the Moon), (BREA) 
(Free Fallin’) 、《 加 州 旅馆 》 (Hotel California), 、《 生 而 为 逃 
È} (Born toRun), (FAME) (Once ina Lifetime ) 。 


计算 机 能 写作 吗 ? 


我 上 高 中 的 儿子 在 学 校 打 棒球 ， 每 场 比赛 过 后 ， 都 会 在 线 发 布 由 计算 
机 程序 根据 比赛 记录 编写 生成 的 书面 总 结 。 以 下 为 克 莱 蒙 高 中 狼 群 队 
对 阵 钼 石 吧 高 中 梵天 队 的 比赛 总 结 示例 : 


星期 五 ， 狼 群 一 记 全 人 垒 打 ， 以 6 : 5 击败 钻石 吧 。 在 
第 八 局 比赛 最 后 比分 为 5 : 5 平 ， 狼 群 的 怀 亚 特 : 科 茨 
倒 地 牺牲 短 打 ， 夹 杀 得 分 。 


尽管 钻石 吧 在 第 二 局 三 次 夹 杀 得 分 ， 狼 群 仍 取得 了 比 
赛 胜 利 。 钻 石 吧 的 大 局 由 富 勒 一 双打、 克里斯蒂 安 
BARB MAD R= AWE, 


钻石 吧 在 首 局 开场 领先 。 钻 石 吧 基 利安 的 一 记 高 飞 牺 
牲 打 击 夹 杀 得 分 。 


狼 群 在 第 七 局 比赛 最 后 将 比分 扳平 至 5 : 5。 杰 克 金 
特 里 击 入 内 野手 范围 ， 夹 杀 得 分 。 

钻石 吧 在 第 二 局 三 次 夹 杀 得 分 。 钻 石 吧 的 大 局 由 富 勒 
一 垒 打 、 基 利安 一 垒 打 和 莫 兰 一 垒 打 锁定 。 


[ 由 Narrative Science ( 自动 写作 技术 公司 ) 和 
GameChanger Media ( 移动 应 用 程序 和 网 站 ) 提供 
支持 。 版 权 所 有 2017 年 。 保 留 所 有 权利 。 ] 


该 总 结 将 钻石 吧 高 中 梵天 队 在 第 二 局 中 的 三 次 夹 杀 记 录 为 两 次 ， 跳 过 
激烈 的 赛事 直接 叙述 第 八 局 ， 又 跳 到 第 二 局 、 第 一 局 ， 再 到 第 七 局 ， 
最 后 又 回 到 第 二 局 。 称 克 莱 蒙 高 中 狼 群 队 为 “ 狼 群 ”， 而 不 是 “ 克 莱 蒙 高 
中 队 ” 或 “ 狼 群 队 ”, A RAMA, 虽然 这 份 总 结 要 点 突出 ， 但 描 
述 枯燥 乏味 ， 读 者 无 法 从 中 感受 到 这 场 比赛 的 激动 人 心 之 处 。 从 人 类 
的 角度 来 说 ， 更 好 的 总 结 应 该 能 强调 钻石 吧 高 中 梵天 队 开 场 大 比分 领 
先 ， 克 莱 蒙 高 中 狼 群 队 紧 追 比 分 ， 在 第 七 局 末 扳 平 (通常 是 最 后 一 

局 ) 。 然 后 ， 比 赛 进入 加 时 决胜 局 ， 克 莱 蒙 高 中 狼 群 队 以 自杀 式 抢 分 
触 击 反 超 取胜 。 我 还 希望 总 结 里 提 到 ， 我 儿子 作为 投手 ， 参 与 了 五 又 
三 分 之 一 无 得 分 局 直到 克 莱 蒙 高 中 狼 群 队 重 振 雄 风 ! 


如 今 ， 很 多 报纸 都 采用 机 器 撰写 文章 。《 华 盛 顿 邮 报 》 的 做 法 是 ， 编 
辑 将 某 个 主题 、 主 题 相 关 事 实 发 生 的 地 方 ， 以 及 他 们 希望 在 故事 中 出 
现 的 关键 词 或 短语 输入 计算 机 程序 。 该 程序 拟 好 一 份 初 稿 ， 编 辑 在 此 
基础 上 修改 确定 终 稿 。 这 种 做 法 最 适合 重 事实 轻 观点 的 叙事 ( 如 棒球 
赛 ) 新 闻 和 不 值得 劳 驾 高 薪 聘 请 的 作家 与 编辑 下 笔 的 小 文章 。 小 镇 的 
报社 尤其 对 此 感 兴趣 ， 这 些 报纸 的 版 面 内 容 都 是 当地 新 闻 ， 如 婚礼 、 
让 告 和 高 中 体育 活动 。 


我 从 中 发 现 了 一 个 很 有 趣 的 测试 ， 能 比较 计算 机 智能 与 人 类 智能 
计算 机 能 否 写 出 有 说 服 力 的 小 说 。 设 想 在 图 灵 测 试 中 ， 计 算 机 和 小 说 
家 都 收 到 提示 词 ， 可 能 是 Boston、grandchildren、hardware store, 
war CRE, IF, BSE, RF) 等 ， 被 要 求 使 用 这 些 词语 写 一 
篇 短文 。 若 其 他 人 无 法 辨别 哪 篇 短文 出 自 计算 机 ， 则 该 计算 机 通过 测 
试 。 除 了 写 短文 ， 人 类 和 计算 机 还 可 以 比赛 使 用 提示 词 写 歌 词 或 诗 
歌 。 


多 伦 多 大 学 的 AI 研究 人 员 开 发 出 会 写 歌 的 “神经 系统 卡拉 OK”( neural 
karaoke ) 程序 。 以 下 示例 受 启发 于 圣诞 树 的 电子 照片 (我 觉得 公平 
地 说 ， 那 些 研 究 人 员 之 所 以 宣传 这 个 例子 ， 可 能 是 因为 其 他 计算 机 生 
成 的 歌词 情况 更 糟糕 ) 。 


Lots to decorate the room. ( 有 很 多 东西 可 以 装饰 房 
间 。 ) 


The Christmas tree is filled with flowers. ( 圣诞 村 上 
摆 满 了 鲜花 。 ) 


I swear it’s Christmas Eve. (RRESKEEE 
Re ) 


I hope that’s what you say. ( 我 希望 你 是 这 么 说 
的 。) 


The best Christmas present in the world is a 


blessing. ( 世界 上 最 好 的 圣诞 礼物 是 祝福 。 ) 


I’ve always been there for the rest of our lives. (我 


的 余生 都 在 那里 度 过 。 ) 


A hundred and a half hour ago.( 100.5 个 小 时 以 
前 。 ) 


I’m glad to meet you. ( 很 高 兴 见 到 你 。 ) 


I can hear the music coming from the hall. (我 能 听 


到 音乐 从 大 厅 里 传 来 。 ) 
A fairy tale. 一 个 童话 。 ) 
A Christmas Tree. ( 一 棵 圣诞 树 。 ) 


There are lots and lots and lots of flowers. ( 有 很 多 


很 多 很 多 的 花 。 ) 
这 首 歌 唱 起 来 比 读 起 来 好 不 到 哪儿 去 。 


要 想 通 过 创意 写作 测试 ， 即 称 得 上 智能 的 计算 机 写作 ， 计 算 机 程序 必 
须知 道 词语 在 语 境 中 的 意思 。 这 可 程序 就 可 以 写 出 令 人 信服 、 内 容 炉 
情 、 情 节 “有 趣 的 叙述 ， 能 吸引 读者 继续 往 下 读 。 有 目前， 计算 机 还 做 不 
到 这 一 点 。 


InspiroBot 


有 一 个 广 受 欢迎 的 名 为 InspiroBot 的 人 工 智 能 海报 生成 机 器 人 ， 能 巧 
妙 使 用 一 些 明 显 出 自 人 类 的 词语 : 


I’m InspiroBot. 


I am an artificial intelligence dedicated to 


generating unlimited amounts of unique 
inspirational quotes for endless enrichment of 
pointless human existence. 


( 我 是 InspiroBot。 


我 是 人 工 智 能 ， 致 力 于 生成 无 数 独 具 特 色 的 激励 语 
句 ， 为 无 意义 的 人 类 存在 增添 无 限 光 彩 。 ) 


InspiroBot 程 序 有 激励 信息 的 常见 语句 结构 数据 库 ， 就 像 聚 会 时 玩 的 
填词 游戏 ， 一 人 选择 名 词 、 动 词 、 副 词 和 形容 词 ， 另 一 人 将 这 些 词语 
填 入 故事 的 空白 处 。 完 成 的 故事 有 时 搞笑 ， 有 时 荒 廖 ， 因 为 选 词 的 人 
并 不 知道 词汇 的 使 用 语 境 。 


InspiroBot 也 是 如 此 。 它 能 把 名 词 放 入 激励 短 句 中 名 词 的 位 置 ， 但 是 
它 无 法 知道 这 句 话 会 激 起 热情 、 大 笑 还 是 困惑 。 实 际 上 ， 计算机 生成 
的 信息 有 可 能 很 空洞 ， 所 以 该 网 站 得 依靠 人 类 假扮 机 器 ， 写 出 真正 有 
趣 的 信息 。 


以 下 是 InspiroBot 为 我 生成 的 一 些 信息 : 


Where friends radiate, bank robbers melt. ( 朋友 所 
到 之 处 ， 银 行动 犯 消失 。 ) 


Embrace greed, remember time. (JAWAH , tir 


时 间 。 ) 


Avoid vegetables and you shall receive a woman. 
( 避 开 蔬菜 ， 你 会 得 到 女人 。 ) 


Meditation requires 90 percent love, and 99 
percent fake. ( 冥想 需要 90% 的 爱 和 99% 的 伪装 。 ) 


Abeliever can be a space alien, but a space alien 
can also be a believer. ( 信徒 可 以 是 太空 外 星人 ， 反 
之 亦 然 。 ) 


If you are the most gentle soul in the laughter, 
prepare for another laughter. ( 如果 你 是 笑 声 中 最 温 


和 的 灵魂 ， 请 做 好 听 到 其 他 笑 声 的 准备 。 ) 


Breaking the sound barrier makes you go blind， 


unless you start working out. ( 打破 声音 障碍 会 让 你 


失明 ， 除 非 你 开始 锻炼 。 ) 
在 语 境 中 理解 事物 


不 仅仅 是 语句 中 的 词语 。 图 像 识 别 程序 可 将 简单 图 像 与 计算 机 数据 库 
中 的 相似 图 像 进行 精 准 匹 配 ， 但 若 图 像 出 现 扭曲 、 部 分 模糊 不 清 或 内 
容 复 杂 的 情况 ， 就 较 难 为 其 进行 匹配 了 ， 因 为 计算 机 不 能 用 类 比方 法 
识别 图 片 的 基本 要 素 。 


人 类 在 语 境 中 了 解 事物 。 我 们 在 街 上 开车 来 到 十 字 路 口 时 ， 预 料 可 能 
会 看 到 停车 指示 牌 ， 自 然 就 会 扫 视 可 能 会 出 现 指 示 牌 的 地 方 。 如 果 我 
们 见 到 熟悉 的 八 边 形 指示 牌 ， 上 面 显示 “STOP”( 停 ) 的 字样 ， 就 能 一 
眼 识 别 出 来。 即使 这 个 指示 牌 生 锈 了 、 思 是 不 平 或 贴 着 小 广告 ， 我 们 
仍 能 认 出 它 是 指示 牌 。 


可 是 ， 图 像 识 别 软件 就 无 法 做 到 这 一 点 。 例 如 ， 在 研究 停车 指示 牌 
时 ， 深 度 神经 网 络 会 先 扫描 不 计 其 数 的 停车 指示 牌 ， 识 别 其 共同 特 
征 ， 再 利用 这 些 特 征 评估 某 对 象 是 不 是 停车 指示 牌 。 计 算 机 程序 不 会 
观察 某 个 对 象 的 通用 特征 ， 而 会 观察 独立 的 像素 ,通常 还 会 注意 到 微 
不 足 道 的 特征 。AI 软 件 非常 靠不住 ， 因 为 稍 有 差异 就 会 让 软件 出 错 ， 
即便 是 停车 指示 牌 上 有 一 小 张贴 纸 ， 也 会 扰乱 计算 机 的 识别 。 


在 训练 过 程 中 ， 深 度 神经 网 络 会 将 “停车 指示 牌 ” 的 字样 与 数不胜数 的 
停车 指示 牌 图 像 进行 匹配 ， 当 输入 像素 与 训练 记录 像素 高 度 相似 时 , 
深度 神经 网 络 便 学 会 输出 “停车 指示 牌 ” 的 字样 。 无 人 驾驶 汽车 在 遇 到 
训练 标记 为 “停车 指示 牌 ”的 匹配 像素 时 ， 便 会 自动 停车 。 不 过 ， 计 算 
机 不 明白 为 什么 要 停车 ， 也 不 明白 若 不 停车 会 有 什么 后 果 。 人 类 司机 
看 到 被 肆意 破坏 或 掉 落 的 停车 指示 牌 也 会 停车 ， 因 为 人 类 能 识别 出 被 
毁坏 的 指示 牌 ， 也 能 想到 不 停车 的 后 果 。 


关键 的 问题 同上 ， 即 AI 算 法 与 人 脑 运作 不 同 。 人 类 不 需要 看 上 百 万 张 
自行 车 的 图 片 去 了 解 什么 是 自行 车 。 就 算 自行 车 的 把 手 被 系 上 丝带 、 
车 身 被 粘 了 闪电 的 图 片 ， 也 骗 不 过 人 类 。 


人 类 识别 事物 不 仅 要 将 其 与 同类 事物 进行 对 比 ， 还 要 与 其 他 事物 进行 
区 分 。 例 如 ， 人 脸 识别 软件 研究 一 张 脸 ， 要 记录 数量 惊人 的 特点 ， 然 
百 尝 试 将 这 些 特 点 与 计算 机 数据 库 中 储存 的 图 像 的 特点 进行 匹配 。 该 
程序 不 局 限于 搜索 脸 部 ， 因 为 它 不 知道 何 为 脸 部 。 算 法 有 可 能 将 人 脸 
识别 成 石头 、 星 球 或 咖啡 杯 。 


人 类 的 识别 方式 就 不 一 样 ， 我 们 想到 某 个 人 ， 人 也 会 想到 他 的 脸 。 人 脑 
的 关注 点 在 于 这 张 脸 和 我 们 预想 的 人 脸形 象 一 一 招 风 耳 、 瓜 子 脸 、 粗 
眉毛 一 一 有 何不 同 ， 正 如 讽刺 漫画 中 突出 的 特色 一 样 。 这 些 差 异 就 是 
所 谓 的 区 别 性 特征 (distinguishing features) ， 人 脑 能 立即 识别 人 脸 
靠 的 就 是 这 些 差 异 点 ， 而 非 相 似 点 。 


看 到 某 人 缺 了 颗 门牙 ， 我 们 不 是 像 深度 神经 网 络 程序 那样 注意 到 他 的 
其 他 牙齿 ， 而 是 靠 这 颗 缺 失 的 门牙 把 此 人 与 他 人 区 分 开 。 同 样 ， 帮 助 
我 们 立刻 识别 出 单车 的 是 我 们 所 看 见 的 两 个 车 轮 ， 而 不 是 3 个 、4 个 或 
18 个 车 轮 。 帮 助 我 们 立刻 识别 出 袋鼠 的 是 ， 大 多 数 4 条 腿 的 动物 的 前 

后 腿 都 差不多 ， 不 会 像 袋鼠 那样 直立 ， 也 不 会 跳 着 走 。 


计算 机 做 不 到 这 些 ， 因 为 它 不 知道 ， 也 不 理解 这 些 事物 是 什么 。 计 算 
机 的 方法 以 颗粒 为 单位 ， 分 析 的 是 像素 ， 而 不 是 概念 ， 所 以 有 时 会 得 
到 荒唐 的 结果 。 


谷歌 的 一 个 研究 团队 表示 ， 人 类 察觉 不 到 的 细微 的 像素 改变 都 能 忽悠 
最 先进 的 视觉 识别 程序 。 他 们 将 这 些 变化 标记 为 “对 

抗 ”( adversarial ) ， 说 明 他 们 对 于 捣乱 者 可 能 实施 的 恶作剧 心 知 肚 
明 ， 例 如， 对 停车 指示 牌 做 些 难 以 察觉 的 手脚 来 骗 过 无 人 驾驶 汽车 。 


怀俄明 大 学 和 康 奈 尔 大 学 的 人 工 智 能 发 展 实验 室 的 研究 人 员 展 示 了 更 
令 人 惊讶 的 事情 : 深度 神经 网 络 会 把 无 意义 的 图 片 错误 解读 为 实物 。 
例如 ， 将 看 上 去 杂乱 无 章 的 小 圆 点 和 图 案 识 别 为 海星 、 猎 鹏 等 ( 如 图 
3.1 所 示 ) 。 


= 


> 
D 
> 


海星 rer 


图 3.1 无 中 生 有 的 识别 


2016 年 ， 另 一 个 计算 机 科学 家 团队 撰文 称 ， 脸 部 生物 识别 系统 中 最 先 
进 的 深度 神经 网 络 程序 识别 不 出 戴 了 有 色 镜 框 的 人 脸 。 人 们 不 仅 能 以 
此 隐藏 自己 的 身份 ， 还 能 通过 选择 镜框 颜色 误导 系统 错误 地 将 其 识别 
为 他 人 。 研 究 者 中 的 一 名 白人 男性 被 误 认 为 是 白人 女 演 员 米 拉 : 乔 沃 维 
奇 ， 相 似 度 为 88% (如 图 3.2 所 示 ) ; 另 一 名 24 安 、 来 自 中 东 的 男性 
被 误 认 为 是 43 光 的 美国 电视 节目 主持 人 卡 森 - 达 利 ， 相 似 度 为 100%。 
这 都 是 因为 镜框 颜色 误导 了 计算 机 程序 。 


人 类 不 会 犯 这 种 显而易见 的 错误 ， 因 为 我 们 知道 眼镜 是 什么 ， 并 可 以 
不 受 眼镜 干扰 看 到 那个 人 的 脸 。 


aa 


图 3.2 哪个 是 米 拉 : 乔 沃 维 奇 ? 


图 像 识 别 和 人 脸 识别 系统 肯定 会 有 所 改善 。 我 只 想 表 明 ， 计 算 机 智能 
与 人 类 智能 相去 甚 远 。 人 类 能 够 建立 联系 、 理 解 天 系 和 辨识 大 局 。 计 
算 机 能 处 理 像素 ,但 不 能 理解 它们 所 处 理 的 内 容 。 计 算 机 不 知道 停车 
指示 牌 是 什么 ， 也 不 认识 猎豹 、 海 星 、 米 拉 : 乔 沃 维 奇 和 卡 森 : 达 利 。 


计算 机 连 股票 、 人 和 药 是 什么 都 不 知道 ， 你 还 会 放手 让 它 来 选择 股 
票 、 雇 人 和 开 药 方 吗 ? 


坦克 、 和 森林 和 云 打 


美国 陆军 曾 试图 采用 神经 网 络 识 别 森 林 中 的 伪装 坦克 。 资 深 研究 人 员 
拍摄 了 200 张 图 片 ， 其 中 100 张 为 有 坦克 的 森林 图 片 ， 另 100 张 为 无 坦 
克 的 森林 图 片 ， 各 用 其 中 的 一 半 以 “训练 ”计算 机 程序 区 分 树木 和 坦 
克 ， 其 余 100 张 随后 被 用 来 验证 效果 ， 看 看 该 程序 能 在 多 大 程度 上 区 
分 以 前 没 见 过 的 图 片 中 的 树木 和 坦克 。 结 果 显示 ， 该 程序 识别 无 误 。 


后 来 ， 这 个 计算 机 程序 被 送 到 五 角 大 楼 ， 但 很 快 就 被 拒绝 了 ， 因 为 其 
准确 的 概率 也 就 和 抛 硬 币 差 不 多 。 问 题 在 于 那些 有 坦克 的 图 片 拍摄 于 


多 云天 气 ， 无 坦克 的 图 片 拍摄 于 晴天 。 由 于 计算 机 不 知道 自己 要 找 的 
是 什么 ， 因 此 只 关注 云 未， 而 不 是 坦克 。 该 程序 能 完美 识别 出 多 云天 
气 ， 但 无 法 识别 出 坦克 。 


其 实 ， 重 点 不 在 于 计算 机 不 能 辨别 出 云 朱 、 树 和 坦克 的 差异 ， 而 在 于 
人 类 不 会 犯 这 样 的 错误 ， 因 为 人 类 知道 自己 要 找 的 是 什么 。 和 人 类 不 
一 样 ， 计 算 机 无 法 理解 这 个 世界 。 


猫 与 花瓶 


走 进 一 间 房 ， 看 到 有 只 猫 坐 在 桌 上 ， 还 有 一 地 的 花瓶 碎片 ， 你 立马 会 
猜测 可 能 是 猫 把 桌 上 的 花瓶 打 翻 到 地 上 ， 摔 碎 了 。 你 的 第 一 反应 也 可 
能 有 误 ， 或 许 是 人 摔 坏 了 花瓶 后 就 离开 了 ， 猫 不 过 刚好 坐 在 了 原来 放 
花瓶 的 桌 上 ; 或 许 是 一 阵风 从 敞开 的 窗户 吹 进 来 ， 吹 倒 了 花瓶 ; 又 或 
许 是 一 场地 震 将 花瓶 震 落 在 地 。 


你 还 可 以 搜集 更 多 信息 来 检验 自己 的 推测 。 还 有 谁 来 过 这 个 房间 ， 他 
会 承认 是 自己 打 碎 了 花瓶 吗 ? 有 多 少 扇 窗 是 敞开 的 ， 外 面 的 风力 有 多 
A? 最 近 有 地 震 通报 吗 ” 你 可 能 无 法 得 出 定论 ， 但 是 每 种 猜测 都 说 得 


通 。 


计算 机 也 能 这 样 猜测 吗 ? 计算 机 能 观察 到 房间 里 的 一 切 ， 甚 至 可 以 正 
确 标记 大 多 数 东西 。 但 是 ， 尽 管 它 再 努力 ， 人 花 再 长 时 间 ， 能 像 你 那样 
立刻 就 提出 这 些 猜测 吗 ? 它 能 立刻 抛 开 你 绝 不 会 认真 考虑 的 荒 请 推测 
吗 ? 例 如， 花瓶 自己 从 桌面 纵身 跃 下 ; 椅子 飞 到 桌面 上 ， 给 了 花瓶 一 
巴掌 ; 地 毯 满 屋子 ， 撞 翻 了 花瓶 。 


这 是 说 明 人 类 和 机 器 之 间 具 有 根本 差异 的 经 典 例子 。 人 类 会 基于 逻辑 
推理 和 生活 观察 进行 合理 猜测 。 而 计算 机 的 综合 性 思维 非常 糟糕 ， 例 
如 ， 它 们 运用 逻辑 、 模 型 和 证 据 来 理解 为 什么 飞机 会 飞 ， 为 什么 夸奖 
比 批 评 更 有 用 ， 为 什么 失业 率 会 出 现 波动 ， 为 什么 花瓶 会 掉 下 桌面 。 


人 类 能 将 自己 从 某 一 领域 吸取 来 的 经 验 教 训 运 用 到 其 他 领域 。 人 类 记 
得 见 过 动物 打 翻 东西 ， 从 没 见 过 无 生命 物体 自己 跳 来 跳 去 。 人 类 也 很 
擅长 预测 日 常事 件 的 后 果 ， 如 在 大 热天 跳 入 清凉 的 游泳 池 、 从 屋顶 跳 
到 水 泥 车 道上 、 向 某 人 招手 、 把 球 踢 到 窗户 上 、 闭 着 眼睛 骑 单车 、 朝 
着 孩子 微笑 、 对 老板 大 喊 大 叫 ， 我 们 很 清楚 这 些 情况 下 会 发 生 什么 。 


计算 机 的 类 比 能 力 极 差 ， 也 根本 无 法 预计 一 件 事情 如 何 引发 另 一 件 事 
情 。 计 算 机 没有 现实 生活 认 知 ， 这 些 智慧 和 常识 来 自 真实 生活 ， 储 存 


为 记忆 中 的 所 读 、 所 见 、 所 思 。 这 就 是 为 什么 “大 ”数据 和 “大 ”电脑 会 
制造 出 < 大 ”麻烦 。 


File does not exist 


第 5 音 
随机 性 模式 


每 当 统 计 学 课程 开课 的 第 一 天 ， 我 都 会 做 超 感官 知觉 
( extrasensory perception, ESP ) 实验 。 先 给 学 生 们 
展示 一 枚 普通 硬币 ( 有 时 向 学 生 借 ) ， 然 后 将 其 抛 投 
10 次 。 每 抛 一 次 ， 我 就 刻意 把 结果 印 入 脑 中 。 与 此 
同时 ， 学 生 尝试 猜测 我 的 想法 ， 然 后 写 下 答案 。 我 还 
会 在 一 张 事先 设计 好 的 纸 上 ， 以 圈 出 H (正面 ) 或 
T( 背面 ) 的 方式 ， 记 录 每 次 抛 投 的 实际 结果 ， 这 样 
一 来 ， 学 生 就 无 法 通过 我 的 手势 猜 出 结果 。 


谁 猜 对 了 10 次 ， 谁 就 能 赢得 当地 一 家 精品 巧克力 店 的 一 盒 一 磅 装 巧 克 
力 。 如 果 你 在 家 也 想 试 试 ， 那 就 猜 猜 我 在 2017 年 春季 的 统计 课 上 那 
10 次 抛 投 硬币 的 结果 。 我 的 脑 电 波 或 许 还 留存 在 某 个 地 方 。 然 后 写 下 
你 的 答案 ， 看 看 能 猜 中 几 次 。 


抛 完 10 次 后 ， 我 让 学 生 们 举 起 手 来 ， 然 后 开始 公布 结果 。 猜 错 的 学 生 
把 手 放 下 ， 坚 持 到 最 后 的 即 可 赢得 巧克力 。 曾 经 出 现 过 一 名 获胜 者 ， 
在 参与 这 个 游戏 的 学 生 人 数 超过 了 1 000 名 后 ， 有 人 获胜 也 在 预料 之 
中 。 


我 并 不 相信 和 超 感官 知觉 ， 所 以 这 个 实验 的 重点 并 非 赢 得 巧克力 。 把 巧 
克 力 设置 为 奖品 ， 只 是 为 了 让 学 生 认 真 对 待 这 一 测试 。 我 的 真实 意图 
是 想 说 明 大 多 数 人 ， 即 便 是 聪明 的 大 学 生 ， 对 抛 硬币 等 随机 事件 也 存 
在 误解 。 这 一 误解 加 深 了 我 们 的 错误 想法 ， 即 以 为 电脑 发 现 的 数据 模 
式 一 定 都 有 意义 。 


早 在 20 世 纪 30 年 代 ， 美 国 的 真 力 时 无 线 电 公司 (Zenith Radio 
Corporation) 有 一 档 系列 节目 ， 每 周 播 出 一 次 起 感官 知觉 实验 。 无 线 
电 广 播 里 的 “发 送 者 ”随机 选择 一 个 圆圈 或 方 框 ， 类 似 抛 硬币 ， 然 后 想 
着 所 选 的 图 形 ， 和 希望 脑海 中 的 图 像 能 传送 给 数 百 英里 之 外 的 听众 。 随 
机 进行 五 轮 选 择 后 ， 听 众 可 以 将 猜测 答案 寄 给 电台 。 


这 些 实验 虽然 不 能 支持 超 感 官 知 觉 的 说 法 ， 但 确实 可 以 有 力 证 明 ， 人 
会 低估 随机 数据 模式 出 现 的 频率 。 我 们 大 多 数 人 认为 ， 圆 圈 和 方 框 出 
现 的 次 数 通常 应 该 相等 ， 而 且 不 会 以 任何 可 识别 的 模式 呈现 。 例 如 ， 
在 一 次 实验 中 ，121 名 听众 都 选择 了 以 下 序列 : 


ODO 
只 有 35 名 听众 选择 以 下 序列 : 
OOO 


上 述 两 种 序列 中 ， 都 含有 3 个 方 框 ，2 个 圆圈 ， 但 是 第 一 种 序列 似乎 比 
第 二 种 完美 交错 的 序列 更 加 随机 。 这 么 说 你 同意 吗 ? 


只 有 一 名 听众 选择 如 下 第 三 种 序列 ， 因 为 大 多 数 人 认为 随机 结果 不 会 
这 么 一 致 。 


事实 上 ， 这 三 种 序列 出 现 的 概率 完全 相等 。 不 过 ， 听 众 还 是 不 愿意 猜 
有 5 个 方 框 连续 出 现 ， 或 者 两 种 形状 完美 交替 出 现 的 序列 ， 因 为 他 们 
觉得 这 样 的 情况 不 会 随机 发 生 。 你 可 能 也 有 同样 的 想法 。 对 了 ， 我 在 
2017 年 春季 课程 上 的 抛 硬币 结果 为 : TT, TT TH HT, 
H、T。 你 全 猜 对 了 吗 ? 


核对 完结 果 ， 看 看 是 否 有 人 获胜 之 后 ， 我 会 让 学 生 数 一 数 自己 的 答案 
中 连续 出 现 次 数 最 多 的 是 哪个 结果 。 比 如 以 下 序列 中 ， 连 续 出 现 最 多 
的 是 4 次 正面 : 


H T T H T HIT T FT |B 
这 些 序列 不 像 随机 结果 ， 但 我 保证 它们 就 是 随机 出 现 的 。 我 抛 了 20 次 
硬币 ， 得 出 了 以 上 结果 。 


过 去 10 年 共有 263 名 学 生 上 过 这 门 统计 学 课 ， 其 中 报告 连续 出 现 4 次 
或 4 次 以 上 同一 面 的 人 只 占 13%。 你 的 结果 是 这 样 吗 ? 


实际 上 ， 正面 或 反面 连续 出 现 4 次 或 4 次 以 上 的 情形 ， 并 非 完 全 不 可 
能 ! 在 10 次 抛 投 中 ， 同 一 结果 连续 出 现 4 次 或 4 次 以 上 的 概率 为 47%。 


我 们 预计 ， 在 这 264 名 学 生 中 ， 会 有 124 名 报告 这 样 的 结果 ， 但 实际 
上 只 有 34 名 。 学 生 都 大 大 低估 了 同一 面 连续 出 现 4 次 、5 次 ， 甚 至 6 次 
的 概率 。 


显然 ， 大 家 看 到 正面 或 反面 一 直 出 现 都 会 感到 别扭 ， 因 为 这 样 的 结果 
不 像 是 随机 产生 的 。 连 续 出 现 两 三 次 正面 后 ， 他 们 猜 反 面 的 念头 越 来 
越 强烈 ， 以 便 达 到 平衡 。 


不 仅 统计 学 课堂 上 的 抛 硬币 实验 如 此 ， 在 体育 比赛 、 靠 运气 取胜 的 游 
戏 和 生活 中 ， 大 多 数 人 也 仍 未 正确 认识 到 随机 数据 中 出 现 连续 情况 的 
概率 有 多 高 。 因 此 ， 一 旦 出 现 连 续 情况 ， 他 们 的 第 一 反应 就 是 这 些 数 


F0 


篮球 运动 员 如 果 连 续 投 中 5 次 ， 肯 定 会 < 热乎” 起 来 ， 非 常 有 可 能 再 投 
中 下 一 球 ; 连续 5 次 选 股 大 赚 的 金融 咨询 师 必 定 是 金融 高 手 ; 连续 5 年 
势头 良好 的 共同 基金 一 定 由 金融 天 才 管理 。 尽 管 共同 基金 的 表现 中 唯 
一 具有 一 致 性 的 是 以 往 业 绩 无 法 准确 预测 将 来 业绩 ， 但 是 投资 者 还 是 
会 放弃 业绩 连年 不 佳 的 基金 ， 转 投 业 绩 连 年 良好 的 基金 。 


美国 国家 体育 比赛 解说 员 和 体育 专栏 作家 名 人 堂 成 员 梅 尔 文 . 德 斯 拉 
格 ， 在 其 最 后 一 篇 报刊 专栏 文章 中 提 及 自己 在 51 年 的 职业 生涯 中 收获 
的 忠告 ， 其 中 包括 一 个 著名 赌 徒 的 建议 :“ 大 名 易 见 的 “希腊 人 尼 

克 ' (Nick the Greek ) 透露 了 取胜 的 秘诀 ， 他 训练 自己 可 以 持续 玩 牌 
八 小 时 而 不 用 上 洗手 间 。 按 照 他 的 说 法 ， 上 了 牌 桌 就 不 应 该 打 断 姐 
气 。” 唯 有 低估 随机 数据 连续 出 现 概率 的 人 才 会 拼命 控制 膀胱 ， 唯 
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我 在 上 文中 提出 “在 10 次 抛 投 中 ， 同 一 结果 连续 出 现 4 次 或 4 次 以 上 
的 概率 为 47%”。 对 此 ， 一 名 活跃 的 学 生 表示 难以 置信 ， 并且 编写 了 
计算 机 程序 来 证 明 我 是 错 的 。 他 编写 的 程序 模拟 了 100 万 次 抛 硬币 ， 
并 记录 每 10 次 中 正 反 面 连续 出 现 最 多 的 次 数 。 他 的 计算 机 程序 也 得 到 
了 同样 的 结果 。 他 承认 自己 的 程序 证 实 了 我 的 观点 ， 但 他 还 是 不 信 。 
他 认为 ， 可 能 是 计算 机 的 随机 数字 生成 器 出 了 问题 ， 但 他 又 没 那么 多 
时 间 自 己 抛 100 万 次 来 验证 。 看 来 ， 随 机 数字 不 会 连续 出 现 的 想法 已 
经 在 他 的 思维 中 根深 蒂 固 了 。 


如 果 抛 硬币 超过 10 次 ， 上 述 概率 会 更 高 ， 连 续 出 现 次 数 会 更 多 。 抛 1 
000 次 ， 同 一 面 连 续 出 现 大 于 或 等 于 10 次 的 概率 是 62% ; MAR, 
同一 面 连续 出 现 大 于 或 等 于 17 次 的 概率 是 53%， 大 于 或 等 于 18 次 的 概 
率 是 32%。 


数据 越 多 ， 就 越 能 肯定 还 会 产生 更 多 连续 出 现 的 结果 ， 以 及 其 他 出 乎 
意料 的 模式 。 克 里 斯 蒂 安 .S. 卡 鲁 德 和 朱 塞 佩 . 隆 哥 合作 发 表 了 一 篇 理论 
性 文章 ， 题 为 “< 大 数据 中 假 性 相关 的 泛滥 ”( The Deluge of Spurious 
Correlations in Big Data) ， 表 明 在 所 有 庞大 数据 中 集中 出 现 高 度 规 
则 的 模式 都 不 足 为 奇 。 不 仅 如 此 ， 而 且 : 


数据 越 多 ， 就 越 会 在 其 中 发 现 随意 、 无 意义 和 对 未 
来 行动 ) 无 作用 的 相 天 系数 。 因 此 ， 自 相 矛 盾 的 是 ， 
我 们 得 到 的 信息 越 多 ， 就 越 难 从 中 提取 有 意义 的 发 
现 。 信 息 量 过 犹 不 及 。 


如 果 存 在 一 组 有 助 于 做 出 预测 的 真实 统计 学 关系 的 固 
定数 据 集 ， 数 据 滥 用 肯定 会 提高 无 用 统计 学 关系 在 真 
实 关 系 中 的 比率 。 


假设 股价 、 失 业 率 和 利率 之 间 存 在 因果 关系 。 如 果 失 业 率 上 升 ， 则 股 
价 下 跌 。 如 果 利 率 上 升 ， 则 股价 也 呈 下 滑 趋 势 。 通 过 看 股价 、 失 业 率 
和 利率 的 数据 ， 我 们 可 能 会 找到 证 实 这 些 因 果 关 系 的 统计 学 证 据 。 


再 假设 ， 我 们 把 几 座 偏僻 城 市 的 日 常 气温 也 考虑 在 内 ， 尽 管 它们 跟 股 
价 毫 不 相关 。 根 据 卡 鲁 德 和 隆 哥 的 论证 ， 纳 入 的 无 关 变 量 越 多 ， 就 越 
能 肯定 得 到 的 是 无 意义 模式 。 


与 包含 两 个 有 意义 变量 ( 失业 率 和 利率 ) 和 100 个 无 意义 变量 ( 100 
个 小 镇 的 气温 ) 相 比 ， 包 含 两 个 有 意义 变量 和 5 个 无 意义 变量 的 结 
可 能 与 股价 的 相关 性 更 高 。 与 包含 两 个 有 意义 变量 和 1 000 个 无 意义 
变量 相 比 ， 包含 两 个 有 意义 变量 和 50 个 无 意义 变量 的 结果 可 能 与 股价 
的 相关 性 更 高 。 


因此 ， 卡 鲁 德 和 隆 哥 总 结 道 :“ 数 据 越 多 ， 发 现 无 意义 模式 的 概率 就 


数据 挖掘 


人 工 智能 是 不 断 变化 的 专 有 和 名词， 包括 计算 机 模拟 人 类 行为 的 各 种 活 
动 ， 例 如 ， 组 装 汽车 、 识 别 物体 、 将 语音 转换 成 文本 。 人 工 智能 还 可 
以 驾车、 下 棋 和 交易 股票 。 


控制 人 工 智能 活动 的 计算 机 程序 被 称 作 “算法 ”( algorithms ) ， 即 完 
成 任务 所 需 的 分 步 规则 。 例 如 ， 寻找 某 数 平方 根 的 算法 步 又 如 表 5.1 
所 示 。 


算法 在 进行 了 5 个 循环 后 ， 得 出 答案 为 X= 7.071068。 


表 5.1 平方 根 算 法 


规则 步骤 
1. 输入 任意 数 Y Y=50 
2. 选择 测试 方程 式 X=Y/2 X= 50/2 =25 
3. 计算 X 的 平方 X? = 25 x 25 = 625 
4. iA Z=Y- xX? Z=50 — 625 = —575 
5. 计 算 E=Z/Y E = -575/50 = -11.5 


6. 若 | E | < 0.00001, 得 到 X; 和 否则， 进行 第 7 步 | 进行 第 7 步 


7. Z/(2X) WME X X = 25-575/50 = 13.5 


8. 返回 第 3 步 进行 第 3 步 


计算 机 程序 使 用 多 种 语言 执行 算法 。 平 方 根 算法 可 以 用 BASIC、 


Java, C+ 十 等 计算 机 编程 语言 。 当 然 ， 人 工 智能 算法 的 能 力 远 不 止 
这 个 简单 的 例子 。 


数据 挖掘 可 能 是 最 艰巨 、 最 危险 的 人 工 智能 形式 。 传 统 的 数据 统计 学 
分 析 遵 从 已 经 广为人知 的 科学 方法 ， 用 科学 知识 取代 迷信 。 研 究 人 员 
基于 观察 或 推测 提出 问题 ， 比 如 “维生素 C 是 否 会 降低 普通 感冒 的 发 
病 率 和 严重 程度 ”， 研究 人 员 搜集 数 据 后 ， 最 好 能 够 通过 控制 实验 来 
验证 这 个 推测 。 如 果 服 用 安慰 剂 和 维生素 C 的 结果 出 现 令 人 信服 的 统 
计 学 差异 ， 则 这 项 研究 得 出 结论 ， 维 生 素 C 具 有 统计 学 上 的 显著 影 
响 。 该 研究 人 员 运 用 数据 验证 了 推测 。 


数据 挖掘 则 另辟蹊径 ， 其 数据 分 析 不 会 受到 预先 形成 的 推测 的 驱使 或 
妨碍 。 数 据 挖掘 算法 的 编程 目的 是 发 现 数据 的 走势 、 相 关系 数 等 模 
型 。 一 旦 发 现 有 意思 的 模型 ， 研究 人 员 就 创造 理论 来 解释 它 。 或 者 ， 
研究 人 员 认 为 ， 数 据 可 以 自圆其说 ， 一 切 解释 都 包含 在 数据 中 。 他 们 
不 需要 理论 学 说 ， 只 要 有 数据 就 足够 了 。 


在 维生素 C 的 例子 中 ， 假 设 数 据 挖 掘 工具 针对 1 000 个 人 创建 数据 库 ， 
记录 他 们 的 所 有 信息 ， 如 性 别 、 年 龄 、 种 族 、 收 入 、 发 色 、 瞳 孔 颜 
色 、 就 医 记 录 、 运 动 和 饮食 习惯 等 。 接 着 ， 使 用 数据 挖掘 软件 识别 出 


与 个 人 患 病 天 数 在 统计 学 上 最 相关 的 五 项 个 人 特征 。 结 果 可 能 显示 
为 : 酸奶 食用 过 量 、 茶 类 饮用 不 足 、 喜 欢 散 步 、 绿 瞳孔 ， 以 及 在 脸 书 
上 最 常 使 用 的 词 为 excellent (好 极 了 ) 。 


数据 挖掘 工具 可 能 得 出 结论 一 酸奶 、 茶 、 散 步 、 绿 瞳孔 和 脸 书 常用 
词 为 excellent 代 表 着 不 健康 一 于 是 编造 出 稀奇 的 故事 来 解释 这 些 相 
关系 数 。 数 据 挖 掘 工具 还 可 能 认为 ， 数 据 已 经 解释 得 面面俱到 ， 无 须 
进一步 解释 了 。 


《经 济 学 人 》 在 2015 年 发 表 的 题 为 “与 悲观 相去 甚 远 : 经 济 学 发 
FR” (A Long Way From Dismal: Economics Evolves ) 的 文章 指出 ， 
( 研究 失业 、 通 胀 等 的 ) 宏观 经 济 学 家 应 该 效仿 在 科技 企业 从 事 产 

品 、 公 司 和 市 场 相关 数据 挖掘 工作 的 微观 经 济 学 家 。 


( 宏观 经 济 学 家 ) 应 该 减少 理论 空谈 。 宏 观 经 济 学 家 
都 是 严谨 之 人 ， 先 创建 理论 模型 ， 后 使 用 数据 检验 。 

新 一 代 经 济 学 家 则 忽略 白板 功能 ， 只 集中 处 理 数据 ， 
让 计算 机 识别 出 模式 。 


《经 济 学 人 》 是 一 本 优秀 的 杂志 ， 但 不 是 优秀 的 新 闻 报道 。 


2008 年 ， 美 国 《 连 线 》 杂 志 总 编辑 克 里 斯 .安德森 撰写 了 一 篇 引起 争 
议 的 文章 ， 题 为 “理论 的 终结 : 数据 泛滥 使 科学 方法 过 时 ”( The End 
of Theory: The Data Deluge Makes the Scientific Method 
Obsolete). ZERRA : 


只 要 有 足够 多 的 数据 ， 数 据 就 能 自圆其说 .…… 更 庞大 
的 数据 以 及 处 理 数 据 的 统计 学 工具 ， 都 为 理解 世界 提 
供 了 全 新 的 方式 。 相 天 系数 可 以 取代 因果 天 系 ， 科 学 
的 发 展 根本 无 须 相关 模型 、 统 一 理论 或 任何 真正 的 机 
械 论 的 解释 。 
当时 看 来 ， 这 似乎 是 一 种 刻意 煽动 争议 、 几 乎 毫 不 掩饰 的 自 吹 自 擂 
一 一 “未 来 是 大 数据 和 大 电脑 的 世界 ， 请 阅读 《 连 线 》”。 


值得 赞扬 的 是 ， 数 年 后 ，《 连 线 》 杂 志 的 英国 版 发 表 了 一 篇 具有 和 警戒 
意义 的 文章 ， 题 为 “如 何 自 改 统计 值 ”( How to massage statistics) , 
其 中 谈 到 了 我 的 担忧 “计算 机 让 摆弄 数据 更 加 轻而易举 ”， 还 列举 
了 算 改 、 挑 拒 和 破坏 数据 以 造成 误导 的 各 种 方法 。 


不 幸 的 是 ， 对 曾经 颇 有 争议 的 事情 ， 人 们 现在 已 经 习以为常 。 认 为 处 


理 数据 便 足 侨 的 人 比比 皆 是 一 一 认为 人 类 无 须 理解 世界 ， 也 无 须 理 
论 ， 能 在 数据 中 找到 模式 就 足够 了 。 在 这 个 方面 ， 计算机 可 谓 得 心 应 
手 。 因 此 ， 我 们 应 该 将 决定 权 交 给 计算 机 。 


有 时 ,“ 数 据 挖掘 ”这 个 词 的 使 用 范围 更 广 ， 还 包括 搜索 引擎 和 机 器 人 
汽车 工 等 大 有 禄 益 、 无 可 厚 非 的 活动 。 我 经 常 使 用 “数据 挖掘 ”来 描述 
这 种 做 法 一 一 运用 数据 发 现 统计 学 关系 ， 然 后 以 此 预测 行为 ， 例 如 , 
寻找 统计 学 模型 以 预测 汽车 采购 、 贷 款 拖欠 、 患 病 或 股价 变动 的 情 
Tho 
知识 发 现 
我 和 一 名 教 “知识 发 现 ” 这 门 课程 的 教授 吃 过 午餐 。 我 问 他 ， 假 如 缺乏 
理论 (或 常识 ) ， 我 们 怎么 知道 由 数据 产生 的 模型 真 的 有 助 于 预测 ， 
而 不 是 偶然 ? 他 认为 : 

证 据 就 在 数据 之 中 。 我 们 不 仅 不 需要 理论 ， 理 论 化 还 

会 限制 我 们 所 见 ， 妨 碍 我 们 发 现 意料 之 外 的 模型 和 关 

系 。 模 型 是 否 有 用 ， 只 需要 看 数据 就 知道 了 。 这 就 是 

为 什么 我 把 这 门 数据 挖 掘 课程 称 作 “知识 发 现 ”。 
数据 挖掘 还 被 称 为 “数据 探索 “数据 驱动 的 发 现 ” 知 识 提 取 ” 信 息 获 
取 ” 等 ， 这 些 称 呼 都 反映 了 一 个 核心 思想 一 一 数据 先 于 理论 ， 甚 至 通 
常 无 须 理论 。 


很 多 被 称 作 人 工 智能 的 事物 都 令 人 惊叹 。 可 是 ， 数 据 挖掘 并 非 如 此 。 
其 根本 原因 很 简单 ， 却 不 易 被 认识 到 : 


我 们 以 为 模型 不 同 寻 常 ， 因 此 具有 意义 。 
在 大 数据 中 ， 模 型 无 法 避免 ， 因 此 毫 无 意义 。 
RE 


我 最 近 看 了 一 家 对 冲 基金 〈 我 称 其 为 “ 想 都 不 想 ”) 的 企划 书 ， 其 中 吹 
咕 道 : 


我 们 完全 自动 化 的 投资 组 合 按照 计算 机 算法 运行 。 所 
有 交易 均 通过 复杂 的 计算 机 系统 完成 ， 消 除了 经 理 人 
的 一 切 主观 因素 。 


这 就 是 所 谓 的 “黑匣子 方法， 把 内 容 输入 算法 ， 算 法 输出 结果 ( 如 图 
5.1 所 示 ) ， 而 人 类 用 户 对 结果 的 决策 过 程 一 无 所 知 。 


输入 


图 5.1 黑匣子 


在 求 平方 根 的 算法 中 ， 如 果 输 入 50， 则 输出 7.071068。 然 而 ， 我 的 算 
法 不 是 黑匣子 ， 因 为 我 解释 了 程序 是 如 何 运 行 的 ， 任 何人 都 能 检查 我 
在 逻辑 或 某 一 步 指 令 上 是 否 犯 了 错 。 事 实 上 ， 你 可 能 已 经 发 现 了 问 
题 。50 的 平方 根 可 以 是 +7.071068 或 -7.071068， 而 我 的 算法 结果 只 
显示 了 正 数 。 此 外 ， 该 程序 在 求 Y= 0 的 平方 根 时 会 出 现 问题 ， 因 为 第 
五 步 是 计算 Z/Y， 但 是 Z/0 无 意义 。 最 后 ， 算 法 如 何 处 理 负数 的 平方 根 
DE ? 没 法 处 理 。 


当 程序 处 于 开放 状态 时 ， 人 类 能 够 看 到 运行 过 程 ， 查 找 错误 、 遗 漏 和 
其 他 故障 。 但 当 程 序 藏 在 黑匣子 里 时 ， 人 类 就 无 法 这 么 做 了 。 我 们 不 
知道 黑匣子 里 的 算法 是 什么 ， 无 法 评估 过 程 中 是 否 存在 逻辑 错误 、 编 
程 差错 或 其 他 问题 。 黑 匣子 的 输入 内 容 不 计 其 数 ， 处 理 过 程 神秘 莫 
测 ， 输 出 内 容 让 人 难以 捉摸 。 


对 黑匣子 股票 交易 算法 来 说 ， 输 入 值 可 能 是 股价 、 交 易 股票 数量 、 利 
率 、 失 业 率 、 推 特 出 现 “ 股 市 ”一 词 的 次 数 、 黄 色 涂 料 的 销量 和 几 十 项 
其 他 变量 ， 输 出 值 可 能 是 100 股 苹果 公司 股票 的 买卖 决定 。 


使 用 黑匣子 交易 算法 决定 股票 交易 的 用 户 不 知道 做 这 些 决定 的 理由 ， 
也 并 不 费心 去 了 解 ， 因 为 他 们 相信 黑匣子 ， 就 像 希 拉 里 .克林顿 相 

信 “ 阿 达 ” 一 样 。 他 们 认为 ， 计 算 机 比 自 己 聪明 ， 这 应 该 让 人 放心 。 包 
括 “ 想 都 不 想 ” 的 对 冲 基 金 经 理 在 内 的 许多 人 都 认为 ， 用 黑匣子 进行 投 


资 决定 ， 这 是 特点 ， 不 是 缺点 ， 毕 竟 它 “消除 了 经 理 人 的 一 切 主观 因 
aen 
FR o 


核准 贷款 的 黑匣子 算法 拒绝 贷款 申请 的 理由 可 能 是 申请 人 的 手机 没 充 
满 电 ， 监 狱 假释 的 黑匣子 算法 拒绝 假释 的 理由 可 能 是 申请 人 戴 着 宽 腕 
套 ， 防 止 犯罪 的 黑匣子 算法 建议 抓 捕 某 人 的 理由 可 能 是 他 的 蛋子 和 嘴 


巴 呈 某 种 形状 。 你 可 能 觉得 我 是 在 胡 编 乱 造 ， 可 我 说 的 都 是 实话 。 


计算 机 算法 能 连续 无 误 地 进行 数学 计算 ， 是 因为 软件 工程 师 确切 地 知 
道 自 己 想 要 算法 去 做 什么 ， 然 后 编程 实现 这 一 目的 。 但 数据 挖掘 算法 
就 无 法 这 么 做 ， 因 为 该 算法 的 意图 模糊 不 定 ， 结 果 无 法 预测 。 一 名 人 
工 智能 专家 写 道 :“ 任 何 两 种 人 工 智 能 设计 之 间 的 相似 点 ， 可 能 比 你 
和 矮 牵 牛 花 之 间 的 还 少 。” 


黑匣子 数据 挖掘 是 人 工 操作 ， 但 它 并 不 智能 。 这 就 是 为 什么 我 给 本 书 
取 名 为 《错觉 : AI 如 何 通过 数据 挖掘 误导 我 们 》。 


AMPAR Xi A TERE” (artificial stupidity, AS ) 来 描述 计算 
机 让 我 们 失望 时 的 情况 ， 如 Siri 听 不 懂 问 题 、 谷歌 地 图 导航 进 了 和 死 胡 
同 、 自 动 交 通 灯 卡 在 红 灯 上 。 我 使 用 人 工 低能 ”( artificial 
unintelligence ) ， 并 非 描 述 计算 机 偶尔 会 犯错 误 ， 而 是 强调 计算 机 并 
不 拥有 人 类 般 的 智能 。 为 了 计算 50 的 平方 根 而 遵守 规则 ， 同 知道 苹果 
公司 股价 和 墨尔本 高 温 的 意义 并 明白 为 什么 两 者 之 间 不 存在 逻辑 关联 
有 根本 区 别 。 
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花费 数 小 时 甚至 数 天 时 间 埋 头 苦 算 。 如 今 ， 我 们 生活 在 大 数据 的 时 
代 ， 计 算 机 可 以 高 速 运行 ， 二 者 的 有 力 结合 一 直 受 到 称赞 ， 甚 至 崇 
拜 。 有 些 人 服从 计算 机 ， 认 为 计算 机 无 所 不 能 。 对 大 数据 的 崇拜 被 称 
为 “数据 主义 ”( dataism ) 或 “数据 化 ”( dataification ) ， 认 为 一 切 重 
要 事物 都 可 以 用 数据 来 表示 ， 数 据 分 析 无 懈 可 击 。 向 计算 机 臣服 吧 ! 


这 种 痴迷 并 非 没 有 危害 。 我 们 过 于 武断 地 认为 搜索 处 理 堆 积 如 山 的 数 
据 不 会 出 差错 ， 但 出 错 在 所 难免 。 数 据 不 过 是 数据 ， 计算机 也 不 过 是 
计算 机 。 计 算 机 无 法 区 分 有 用 数据 和 无 用 数据 ， 无 法 分 辨 合理 结论 和 
一 派 胡言 。“ 数 据 无 须 理论 支撑 ”是 一 种 危险 的 理念 。 


连续 出 现 、 相 关系 数 、 走 势 模型 等 本 身 证 明 不 了 什么 。 即 便 是 通过 抛 
硬币 ， 也 能 发 现 这 些 模型 。 我 们 需要 思考 原因 ， 要 问 为 什么 ， 而 非 是 
什么 。 


不 可 否认 ， 计 算 机 令 人 惊叹 ， 神 秘 莫 测 。 我 们 大 多 数 人 不 了 解 手 机 如 
何 让 我 们 与 几 干 英里 外 的 人 视频 对 话 ， 也 不 知道 计算 机 如 何 能 给 出 详 
细 的 驾驶 导航 ， 还 可 以 根据 当前 交通 状况 给 出 预计 到 达 时 间 。 我 们 只 


知道 计算 机 大 神奇 了 。 如 果 计 算 机 告诉 我 们 ,总 统 大 选 的 结果 可 以 通 
过 闻所未闻 的 几 座 城市 的 气温 预测 得 到 ， 我 们 可 能 也 会 认为 它 说 得 
对 。 如 果 计算 机 可 以 显示 A 的 小 数 点 后 2 000 位 数 和 世界 上 每 座 城市 的 
街景 图 ， 我 们 区 区 凡人 有 谁 能 质疑 它 的 智慧 呢 ? 


事实 的 残酷 在 于 ， 数 据 挖掘 算法 是 由 数学 家 创建 的 ， 相 比 现实 状况 ， 
他 们 对 数学 理论 更 感 兴趣 。 从 15 名 数学 家 的 脑 部 功能 性 磁 共 振 成 像 图 
(fMRI) 可 以 发 现 ， 看 到 数学 等 式 会 激活 他 们 的 眶 额 部 皮质 中 线 部 , 
而 在 人 们 看 到 惊险 杂技 或 听 到 美妙 音乐 时 ， 这 一 区 域 也 会 激活 。 有 些 
人 欣赏 优美 的 音乐 、 艺 术 、 和 舞蹈 和 文学 ， 而 数学 家 则 欣赏 数学 等 式 的 
内 在 美 。 


沃 伦 ' 巴 菲 特 曾 发 出 警告 :“ 要 小 心 满 脑子 都 是 公式 的 怪人 。” 我 大 学 主 
修 数 学 ， 现 在 教 金融 学 和 统计 学 。 实 际 上 ， 我 生活 中 的 每 一 天 都 会 用 
到 数学 ， 还 编 过 几 十 个 软件 程序 ， 为 我 的 研究 分 析 数 据 。 我 很 喜欢 公 
式 和 计算 机 ， 但 我 也 知道 ， 数 学 的 魅力 会 引导 我 们 创建 让 内 心 愉悦 却 
无 实践 价值 的 数学 模型 。 有 大 多 数据 挖掘 算法 都 属于 这 一 类 。 


利益 站 突 


哪里 有 利 可 图 ， 哪 里 就 有 人 蜂拥 而 至 。 


20 世 纪 90 年 代 ， 计 算 机 进入 我 们 的 生活 ， 互 联网 的 发 展 众生 出 数 以 百 
计 以 互联 网 为 基础 的 企业 ， 即 广为人知 的 网 络 公司 ( dot-coms ) 。 有 
些 网 络 公 司 有 好 的 想法 ， 逐 渐 发 展 成 为 实力 雄厚 的 成 功 企业 ， 但 大 多 
数 没有 。 有 太 多 网 络 公司 只 是 为 了 在 公司 名 称 里 加 上 dot-com， 然 后 

转卖 出 去 ， 赚 得 盆 满 钵 满 后 转身 就 走 。 找 到 好 点 子 、 开 公司 、 打 造成 
功 企业 ， 然 后 托付 给 子孙 后 代 ， 这 是 旧 经 济 的 过 时 做 法 。 


一 项 研究 发 现 ， 企 业 不 过 是 在 名 称 里 加 上 了 .com、.net 或 互联 网 ， 股 
价 便 翻 了 一 番 还 多 。 股 民 的 钱 打 了 水 漂 ! 


如 今 ， 人 工 智能 同样 如 此 。 人 工 智能 已 经 成 为 一 种 时 尚 ， 任 何 跟 计算 
机 沾边 的 东西 似乎 都 能 被 称 作 人 工 智 能 。 真 可 笑 ， 连 我 那个 求 平方 根 
的 计算 器 都 能 被 算 作 人 工 智能 。 何 乐 而 不 为 ? 


我 从 前 的 一 名 学 生 投 资 了 人 工 智能 初创 公司 ， 他 跟 我 说 :“ 当 前 ， 数 
据 科学 家 ’ 和 ‘机 器 学 习 专 家 ’ 是 最 热门 的 职业 。 其 中 有 些 是 接受 过 训练 
的 统计 学 家 、 经 济 学 家 ， 但 有 些 只 是 上 过 六 周 网 络 课程 的 程序 员 ， 课 
程 可 能 仅 重 点 讲解 一 些 技 术 工 具 和 技巧 ， 没 有 提供 基础 的 理论 知识 帮 


助 他 们 了 解 理论 的 局 限 。” 谁 还 愿意 思考 呢 ? 都 冠 以 人 工 智能 的 名 
号 ， 四 处 兜售 就 好 了 。2017 年 “AI 入 选美 国 全 国 广告 商 协会 的 “年 
度 营销 词 ” 


我 的 另 一 名 学 生 现 在 是 一 家 大 公司 的 首席 财务 官 ， 他 写 信 给 我 :“ 你 
不 会 相信 人 们 多 么 频繁 地 向 我 提 到 ‘大 数据 "的 优势 ， 或 者 愿意 提供 “分 
析 专 长 一 一 这 些 人 都 是 外 行 ，( 有 可 能 ) 没有 意识 到 你 在 书 中 详 述 过 
的 局 限 。” 


为 了 说 服 大 家 为 实际 上 并 不 需要 的 东西 砸 更 多 钱 ， 需 要 做 出 更 多 承 
诺 ， 提 供 超出 实际 能 部 现 的 范围 的 目标 。 这 种 情况 在 互联 网 泡沫 时 期 
出 现 过 ， 如 今 到 了 人 工 智能 时 代 又 重 蹈 覆 辐 。 我 们 应 该 对 拼命 向 我 们 
推销 的 人 持 怀疑 态度 。 


天 生 就 会 被 骗 


人 类 不 太 能 接受 “随机 事件 ”, 见不得 某 件 事 无 缘 无 故地 发 生 。 我 们 老 
想 着 给 每 个 模型 做 出 有 意义 的 解释 ， 但 有 可 能 它 根 本 就 之 无 意义 可 
言 ， 不 过 是 偶然 发 生 的 罢了 。 正 如 尤 吉 : 贝 拉 所 言 :“ 这 巧合 得 太 不 像 
话 了 。” 


你 可 以 将 此 怪罪 于 我 们 的 远古 祖先 曾 设法 应 对 的 演化 和 环境 问题 。 拥 
有 便于 生存 繁殖 的 遗传 特征 的 有 机 体 ， 会 将 这 些 特征 遗传 给 后 代 ， 而 
那些 欠 佳 的 特征 则 会 被 淘汰 出 基因 库 。 持 续 不 断 地 代 代 相传 ， 这 些 有 
价值 的 遗传 特征 便 会 占据 主导 地 位 。 


识别 和 解释 模式 曾经 具有 生存 价值 。 乌 云 通常 预示 着 下 雨 ， 灌 木 丛 中 
传 来 声音 说 明 可 能 有 捕食 者 ， 发 质 是 繁殖 力 的 象征 ， 脸 型 对 称 代表 基 
因 健康 。 远 古 时 期 ， 模 式 识别 有 助 于 人 类 祖先 找到 食物 和 水 、 意 识 到 
危险 ， 还 有 助 于 吸引 到 有 繁殖 力 、 能 养育 健康 后 代 的 配偶 ， 并 将 这 种 
能 力 遗 传 给 后 代 。 那 些 不 太 擅长 识别 有 益 于 生存 繁殖 的 模型 的 人 ，, 将 
自己 的 基因 遗传 下 去 的 机 会 更 少 。 经 过 无 数 代 自然 选择 ， 我 们 天 生 就 
会 寻找 模型 ， 并 为 找到 的 模型 寻求 解释 。 


我 们 太 容 易 被 内 在 欲望 所 诱惑 ， 想 要 解释 所 见 的 事物 ， 这 掩盖 了 如 下 
事实 : 模型 不 可 避免 地 是 由 无 法 解释 的 随机 事件 创建 出 来 的 ， 如 抛 10 
次 硬币 。 我 们 应 该 承认 自己 容易 受到 模型 的 诱惑 ， 从 而 努力 做 到 拒绝 
诱惑 ， 保 持 质疑 。 


为 模型 所 惑 


真 力 时 公司 的 超 感官 知觉 测试 说 明 ， 我 们 对 随机 数据 有 先入 为 主 的 想 
法 (或 误解 ) 。 随 机 数据 看 似 序列 1 : 


OOO 

随机 数据 不 像 序 列 2 : 
ogo 
随机 数据 肯定 也 不 像 序列 3 : 


因此 ， 我 们 认为 ， 如 果 模 型 如 序列 2 和 序列 3, 肯定 就 不 是 随机 产生 
的 。 或 许 是 方 框 和 圆圈 没有 被 预先 打 乱 ， 又 或 许 这 不 是 超 感官 知觉 测 
试 ， 而 是 公开 播放 给 间谍 的 密码 。 


听 到 这 儿 ， 你 或 许 只 是 付 之 一 笑 ， 但 担任 《纽约 时 报 》 人 金融 专栏 作家 
多 年 的 伯 顿 . 克 兰 曾 说 : 


我 一 直 都 深信 不 疑 的 是 ，( 曾经 用 来 记录 股价 的 ) 纸 
带 上 价格 之 间 的 点 是 密码 (如 图 5.2 所 示 ) , WES 
相 发 出 市 场 波动 的 信号 。 有 人 甚至 让 我 看 过 所 谓 的 翻 


译 码 。 


图 5.2 用 来 记录 股价 的 纸 带 


破译 纸 带 上 随机 出 现 的 点 是 数据 挖掘 的 雏形 : 先 寻 找 模型 ， 然 后 为 此 
编 一 种 说 法 。 偏 执 的 股票 交易 员 确 实 会 仔细 查看 这 些 点 ， 找 寻 模 型 ， 
发 现 模型 ， 然 后 设法 将 这 些 模型 和 股价 变动 联系 起 来 。 交 易 员 受 模型 
驱使 ， 拼命 寻找 模型 ， 而 且 成 功 了 。 他 们 并 没有 意识 到 ， 模 型 肯定 会 
出 现 ， 即 便 在 随机 产生 的 数据 中 也 一 样 。 


这 一 误解 的 另 一 表现 是 一 本 关于 如 何 赢得 掷 双 蜗 子 游戏 的 书 。 作 者 在 
拉 斯 维 加 斯 一 家 赌场 记录 了 5 万 次 掷 般 子 的 结果 ， 研 究 数字 出 现 的 序 
列 。 预 计 搓 蜗 子 5 万 次 会 出 现 约 20 次 4-4-11 序 列 ， 但 实际 该 序列 出 现 
了 31 次 。 于 是 该 书 建议 每 当 4 连 续 出 现 两 次 后 ， 都 要 押 11。 作 者 还 发 


现 ，38 次 据 明 子 的 结果 中 ，7-12-7 的 序列 出 现 了 10 次 ， 接 着 出 现 的 数 
字 为 2、 3 或 12。 如 果 这 38 次 每 次 都 押 注 100 美 元 ， 就 能 赢 4 200 美 
JLo 


这 些 计 算 都 是 手工 完成 的 ， 那 时 还 没有 计算 机 ， 更 别 说 数据 挖掘 软件 
了 。 一 想到 作者 要 花 上 好 几 个 月 甚至 好 几 年 来 找寻 这 些 模型 ， 我 就 不 
塞 而 票 。 唯 一 令 人 感到 欣慰 的 是 ， 作 者 在 研究 数字 上 花 的 时 间 越 多 ， 
在 偶然 事件 上 押 注 的 时 间 就 越 少 。 


这 个 可 怜 的 作者 为 了 在 5 万 次 掷 俘 子 中 寻找 偶然 模型 而 耗费 时 间 ， 今 
天 的 数据 挖掘 软件 也 在 这 么 做 ， 只 不 过 计算 机 化 的 数据 挖掘 能 在 数秒 
内 完成 这 项 任务 ， 无 须 数 月 时 间 。 抑 从 子 是 简单 易 懂 的 例子 ， 它 说 明 
了 如 何 总 能 在 这 样 随机 产生 的 数据 中 找 出 模型 ， 以 及 人 们 多 么 渴望 自 
己 找到 的 模型 是 有 意义 的 。 事 实 上 ， 找 到 的 模型 根本 毫 无 意义 。 


随机 噪声 


大 电脑 搜 遍 大 数据 后 ， 一 定 可 以 找 出 比丘 从 子 的 4-4-11 序 列 更 复杂 、 
更 不 寻常 的 模型 ， 即 便 这 些 数 据 只 是 随机 噪声 。 例 如 ， 我 为 100 个 随 
机 产生 的 变量 均 创建 250 个 观察 结果 ， 每 个 变量 初始 值 为 50， 在 随后 
的 249 次 观察 中 ， 由 计算 机 的 随机 数字 生成 器 决定 这 个 值 是 增加 还 是 
减少 。 这 100 个 变量 都 通过 统计 学 家 称 为 “随机 游 走 ”( random 
walk) 的 程序 产生 ， 就 像 醉 汉 走 路 ， 每 走 一 步 都 和 前 一 步 没有 关联 一 
样 ， 每 个 变量 的 下 一 次 改变 都 与 上 一 次 改变 没有 关系 。 


每 个 变量 的 每 次 观察 都 与 其 他 99 个 变量 的 演变 完全 独立 开 来 。 但 事实 
上 ， 还 是 一 定 会 出 现 偶 然 性 模型 。 数 据 挖掘 软件 有 非常 强大 的 模型 寻 
找 能 力 ， 不 过 ， 对 模型 评估 就 无 计 可 施 了 。 就 像 我 们 在 前 面 章节 反复 
说 过 的 ， 原 因 在 于 计算 机 并 不 能 理解 真实 世界 。 数 字 只 是 数字 。 


我 运用 某 些 数据 挖掘 软件 发 现 这 些 随机 产生 的 变量 中 ， 有 一 个 变量 连 
续 13 次 出 现 增加 情况 。 如 果 不 是 头脑 清醒 ， 我 可 能 会 认为 自己 有 什么 
重大 发 现 了 。 


接 下 来 我 用 数据 挖掘 软件 寻找 任意 两 个 变量 之 间 简 单 的 两 两 相关 系 

数 。 一 共存 在 4 950 对 可 能 的 相关 系数 。 我 的 数据 挖掘 软件 找到 了 98 
对 相关 系数 在 0.9 以 上 的 变量 。 如 果 不 是 头脑 清醒 ， 我 可 能 会 认为 自 
己 又 有 什么 重大 发 现 了 。 


最 后 ， 我 使 用 数据 挖掘 软件 来 寻找 这 100 个 解释 性 变量 中 的 组 合 ， 该 
组 合 会 与 一 个 真实 变量 高 度 相 关 ， 即 2015 年 标准 普尔 500 指 数 的 每 日 


价值 。 每 5 个 变量 一 组 ， 则 有 75 287 520 种 可 能 。 这 听 上 去 似乎 很 

多 ， 但 是 对 现代 计算 机 来 说 不 算 什 么 。 据 我 预计 ， 在 这 些 虚假 变量 
中 ， 某 些 变 量 组 合 会 与 真实 变量 高 度 相关 。 结 果 不 出 我 所 料 ， 数 据 挖 
掘 软件 找到 一 个 组 合 ， 与 标准 普尔 500 指 数 的 相关 系数 达到 0.88。 如 
果 不 是 头脑 清醒 ， 我 可 能 会 认为 自己 真 的 有 什么 重大 发 现 了 。 


数据 挖掘 软件 每 次 都 能 发 现 模型 ， 某 一 次 它 表 明 ， 精 明 老 练 的 投资 人 
会 战胜 股市 。 该 软件 会 筛选 、 分 类 和 分 析 所 有 随机 数据 ， 尽 管 这 些 数 
据 跟 股价 一 点 关系 都 没有 ， 对 决定 买 进 还 是 卖 出 股票 完全 没有 帮助 。 
不 过 ， 该 软件 还 是 找到 了 足够 强 的 相关 系数 ， 说 服 黑 匣子 股票 交易 算 
法 买 进 或 卖 出 股票 。 


只 要 了 解数 据 是 如 何 产 生 的 ， 人 类 立刻 就 能 理解 这 个 笑话 ， 但 计算 机 
不 能 。 数 据 挖掘 软件 无 从 明白 自己 的 发 现 是 否 有 用 ， 因 为 对 计算 机 来 
说 ， 数 字 只 是 数字 而 已 。 


真正 进行 数据 挖掘 的 人 会 在 大 数据 中 局 动 其 数据 挖掘 算法 ， 通 常 是 才 
十 亿 或 数 万 亿 次 ， 他 们 的 算法 不 仅 在 每 个 数据 组 合 中 寻找 模型 、 寻 找 
不 同 数据 组 合 之 间 的 交互 关系 ， 还 会 寻找 更 加 复杂 的 关系。 他们 必然 
会 找到 不 同 寻 常 的 模型 ， 不过， 就 像 上 述 的 股市 例子 一 样 ， 软 件 无 法 
辨别 何 为 因果 、 何 为 偶然 。 


业余 的 天 气 预 测 


再 举 一 个 例子 说 明 数 据 挖掘 的 危害 之 处 。 即 使 并 没有 充分 的 理由 表明 
数据 具备 实际 价值 ， 但 数据 挖掘 工具 也 照例 筛选 与 预测 对 象 富 无 关联 
的 数据 。 例 如 ， 假 设 我 想 预 测 明 天 的 气温 。 真 正 的 天 气 预报 会 使 用 复 
杂 的 计算 机 模型 ， 将 大 气 分 为 若干 个 立方 体 ， 运 用 卫星 数据 估算 每 个 
立方 体 的 气温 、 湿 度 、 风 速 等 。 计 算 机 模型 利用 物理 学 、 流 体力 学 等 
科学 原理 ， 预 测 天 气 会 如 何 随 着 立方 体 之 间 的 相互 作用 进行 变化 。 


这 听 上 去 挺 费劲 的 。 我 没有 那些 资源 ， 也 不 懂 科 学 原理 。 但 是 ， 我 可 
以 使 用 数据 挖掘 软件 基于 知识 发 现 来 预测 天 气 。 具体 来 说 ， 我 尝试 根 
据 城 市 B 昨 天 的 气温 ， 来 预测 城市 A 明天 的 气温 。 我 也 可 以 参考 城市 A 
昨天 的 气温 ， 但 这 就 不 算是 知识 发 现 了 ， 不 是 吗 ? 

我 请 一 名 出 色 的 研究 助理 海 蒂 . 阿 蒂 格 帮忙 搜集 了 25 座 分 布 广泛 且 相 对 
偏僻 的 美国 城市 在 2015 年 和 2016 年 的 每 日 最 高 和 最 低 气温 数据 。 她 
无 意 中 把 澳大利亚 西部 一 座 临 时 小 型 机 场 一 一 科 廷 机 场 也 包括 在 内 。 


真是 无 巧 不 成 书 。 几 年 前 的 圣诞 假期 ， 我 到 澳大利亚 墨尔本 拜访 朋 


友 。 那 时 ， 我 了 解 到 了 葡萄干 布 了 、 澳 大 利 亚 的 圣诞 歌曲 和 墨尔本 板 
球场 的 节 礼 日 板 球赛 ， 我 在 后 院 还 把 网 球 当 板 球 打 。 然 而 ， 我 印象 最 
深 的 还 是 拆 圣诞 礼物 的 时 候 。 两 兄弟 给 年 迈 的 母亲 送 了 去 西 澳 首府 珀 
斯 的 往返 机 票 。 母 杀 打 开 信 封 ， 灵 着 眼睛 看 着 机 票 ， 皱 着 眉 大 声 抱怨 
道 :“ 我 为 什么 要 大 老 远 跑 去 珀 斯 ? ”她 住 在 墨尔本 ， 位 于 东 澳 ， 一 奉 
子 都 没有 飞越 过 整 片 国土 跑 到 西 澳 度假 ， 也 没 兴 趣 这 么 做 。 


为 了 纪念 这 次 旅行 ， 我 把 科 迁 作为 预测 城市 ， 看 看 通过 24 座 同样 偏远 
的 美国 城市 的 每 日 最 高 和 最 低 气 温 ， 运 用 数据 挖掘 软件 来 预测 科 迁 每 
日 最 低 气 温 的 准确 率 有 多 高 。 我 的 数据 挖掘 查 到 华盛顿 州 的 奥 玛 克 ， 

这 是 一 座 冬 冷 夏 热 的 美国 小 城市 ， 常 住 居民 不 足 5 000 人 。 其 当日 最 

高 气温 与 西 澳 科 廷 机 场次 日 最 低 气 温 的 相关 系数 为 -0.77 (如 图 5.3 所 

示 ) 。 


相关 系数 = -0.77 


澳大利亚 科 廷 次 日 最 低 气温 


0 20 40 60 80 100 120 (ÆRE) 
美国 奥 玛 克 当 日 最 高 气温 


图 5.3 根据 奥 玛 克 来 预测 科 廷 天 气 的 散 点 图 


奥 玛 克 的 当日 最 高 气温 与 科 廷 次 日 最 低 气温 呈 负 相关 关系， 是 因为 奥 
玛 克 位 于 北半球 ， 科 廷 位 于 南半球 。 考 虑 到 这 两 个 城市 位 于 不 同 半 


球 ，-0.77 的 相关 系数 非常 令 人 震惊 。 


不 会 思考 的 数据 挖掘 程序 ( 所 有 数据 挖掘 程序 都 不 会 思考 ) 可 能 会 得 
出 结论 ， 这 是 一 次 知识 发 现 ， 为 预测 科 廷 的 气温 找到 了 有 力 的 工具 。 
而 在 会 思考 的 人 类 看 来 ， 预 测 澳大利亚 一 个 小 镇 次 日 最 低 气温 的 最 佳 
方法 居然 是 根据 远 在 华盛顿 的 一 个 小 镇 的 当日 最 高 气温 ， 这 简直 荒唐 
可 笑 。 


我 在 搜集 的 另 一 组 数据 中 局 动 数 据 挖 掘 软件 ， 很 快 发 现 了 更 加 紧密 的 
相关 系数 。 如 图 5.4 所 示 ， 科 廷 的 每 日 最 低 气 温 与 第 58 号 随机 变量 的 
相关 系数 为 0.81。 没 错 ， 图 中 横 轴 的 变量 就 是 我 用 计算 机 随机 数字 生 
成 器 得 到 的 、 预 测 股价 的 那 100 个 变量 之 一 。 

这 些 虚假 变量 的 生成 完全 与 科 迁 的 天 气 无 关 ， 但 我 还 是 发 现 了 一 个 变 
量 (第 58 号 随机 变量 ) 恰好 与 科 廷 的 天 气 紧 密 相关 。 这 就 像 抛 硬币 和 
其 他 随机 噪声 那样 ， 通 常 都 会 得 到 看 似 真实 但 实则 毫 无 意义 的 模型 和 
相关 系数 。 
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图 5.4 随机 选择 的 力量 


我 这 才 试 了 100 个 随机 变量 。 有 了 现代 计算 机 ， 我 还 可 以 轻而易举 地 
尝试 数 干 、 数 百 万 个 随机 变量 ， 直 至 偶然 发 现 一 个 与 科 廷 或 其 他 城市 
的 气温 存在 极其 紧密 相关 关系 的 系数 。 


那么 ， 我 到 底 证 明了 什么 ? 根本 什么 都 证 明 不 了 。 这 就 是 关于 数据 挖 
掘 需 要 记 住 的 第 一 点 ， 无 论 是 否 存在 真实 情况 ， 只 要 仔细 审查 大 量 数 
据 ， 就 能 得 到 统计 学 模型 。 此 外 ， 即 便 被 称 作 人 工 智 能 ， 数 据 挖掘 软 
件 也 不 足以 智能 到 分 辨 反映 出 真实 关系 和 偶然 关系 的 模型 有 何不 同 , 
这 唯 独 人 类 能 做 到 。 


密斯 测试 


假设 数据 挖掘 算法 发 现 美国 股价 与 澳大利亚 科 廷 的 每 日 最 低 气 温 相 
关 。 计 算 机 程序 怎么 会 知道 这 一 统计 学 关系 是 真实 存在 的 还 是 偶然 的 
DE ? 相反 ， 人 类 知道 何 为 股价 ， 何 为 气温 ， 还 知道 股价 高 低 不 由 科 廷 
的 气温 来 决定 。 


计算 机 能 搜索 stock 的 定义 ， 尽 管 该 词 有 多 项 词义 ， 如 存货 、 家 冀 和 肉 
汤 等 。 计 算 机 即便 能 找 出 正确 的 定义 ， 也 不 知道 这 个 定义 中 用 到 的 词 
语 是 什么 含义 ， 虽 然 它 还 能 继续 搜索 到 定义 中 每 个 词语 的 定义 。 除 了 
搜索 定义 外 ， 计 算 机 无 法 知道 股票 、 股 票 交易 和 股价 真正 代表 什么 ， 

也 不 知道 为 什么 股价 会 时 涨 时 跌 。 它 不 明白 科 廷 的 最 低 气 温 为 何 物 ， 

也 不 明白 为 什么 这 些 气 温 有 可 能 或 不 可 能 与 美国 股价 相关 。 


计算 机 程序 可 以 搜 遍 已 发 表 的 研究 数据 库 ， 寻 找 提 及 股价 与 澳大利亚 
气温 的 文章 。 但 是 对 计算 机 来 说 ， 要 解释 碰巧 包含 这 些 词 语 的 研究 的 
相关 性 ， 则 是 难于 登 天 (或 是 无 稽 之 谈 ) 。 此 外 ， 评 定 研 究 是 否 有 
效 ， 对 计算 机 来 说 也 是 难 上 加 难 。 约 翰 - 约 安 尼 季 斯 曾 很 有 说 服 力 地 指 
出 :“ 大 多 数 已 发 表 的 医学 研究 都 有 误 ， 包 括 发 表 在 最 负 名 望 的 医学 
杂志 上 的 研究 (因为 报告 结果 通常 都 通过 数据 挖掘 的 方法 获 

得 ) 。 ”我 相信 ， 大 多 数 的 股市 研究 也 一 样 。 我 们 会 在 后 面 的 章节 中 
探讨 这 些 论 点 背后 的 推理 过 程 ; 目前 的 重点 在 于 ， 用 计算 机 搜索 词 
语 “ 股 价 ” 和 “澳大利亚 气温 ”, 不 可 能 找 出 任何 被 它 自己 解释 为 支持 或 
反对 其 发 现 的 统计 学 模式 的 内 容 。 就 算 确 实 有 所 发 现 ， 计 算 机 也 很 难 
评估 其 可 靠 性 。 


另外 ，“ 知 识 发 现 ” 的 整套 言论 都 在 说 ， 计算机 会 发 现 疡 新 的 、 从 不 为 
人 所 知 的 模型 和 关系 。 根 据 这 一 定义 ，“ 知 识 发 现 ” 并 非 已 经 发 表 的 事 
物 。 那 么 ， 没 有 智慧 和 常识 的 计算 机 又 如 何 能 辨别 出 它 的 “知识 发 
现 ” 是 否 合理 呢 ? 它 做 不 到 ， 因 为 计算 机 确实 没有 智慧 ， 也 没有 常 
识 。 


我 们 回 到 前 述 的 汉语 室 测试 。 如 果 计算 机 不 能 真正 理解 < 股价 ”和气 
温 * 在 现实 生活 中 所 代表 的 意思 ,那么 它 就 不 能 分 辨 出 其 发 现 的 统计 
学 模型 是 有 意义 的 ， 抑 或 只 是 巧合 而 已 。 可 以 将 这 种 分 辩 能 力 称 
为 “理论 性 知识 “人 类 本 能 经验” 智慧 “常识”, 不 过 ， 通 过 数据 发 
现 统计 学 关系 的 计算 机 和 无 须 数据 就 能 预测 关系 的 人 类 之 间 ， 存 在 根 
本 差别 。 


我 斗 胆 提出 史密斯 测试 : 


搜集 100 套 数据 ， 例如， 美国 股价 、 失 业 率 、 利 率 和 
米 价 、 新 西 兰 蓝 色 涂料 的 售 价 ， 以 及 澳大利亚 科 迁 的 
气温 等 数据 。 让 计算 机 自由 分 析 ， 然 后 报告 它 认 为 可 
能 有 助 于 预测 的 统计 学 关系 。 如 果 人 类 专家 小 组 一 致 
认为 计算 机 选择 的 关系 合理 ， 则 计算 机 通过 史密斯 测 
试 。 


有 可 能 存在 真正 的 “知识 发 现 ”, 即 计算 机 能 找到 人 类 忽略 的 合理 关 
系 。 但 是 ， 如 果 计 算 机 选择 的 关系 被 人 类 认定 为 无 意义 ， 如 美国 股价 
和 澳大利亚 科 廷 的 气温 之 间 的 关系 ， 则 其 无 法 通过 测试 。 


File does not exist 


第 7 音 
无 所 个 包 的 “厨房 水 槽 法 ” 


20 世 纪 80 年 代 ， 我 曾 与 一 名 经 济 学 教授 交谈 ， 他 根 
据 图 7.1 所 示 的 简单 相关 系数 给 一 家 大 银行 进行 预 
测 。 如 果 想 要 预测 消费 性 支出 ， 他 便 制作 收入 和 支出 
的 散 点 图 ， 然 后 用 透明 尺子 画 出 一 条 似乎 与 数据 一 致 
的 线 。 根 据 他 的 预测 ， 若 收入 增加 ， 支 出 也 会 增加 。 


这 名 教授 的 散 点 图 的 问题 在 于 ， 世 界 并 非 如 此 简单 。 收 入 会 影响 支 
出 ， 财 富 状况 也 会 。 如 果 教 授 恰巧 利用 收入 增加 ( 支出 增加 ) 、 股 市 
暴跌 ( 支出 减少 ) 时 期 的 数据 来 画 散 点 图 ， 而 财富 的 影响 力 又 大 于 收 
入 的 影响 力 从 而 导致 支出 减少 ( 如 图 7.2 所 示 ) 那 又 会 怎么 样 呢 ? 据 
此 ， 教 授 的 收入 和 支出 散 点 图 将 预测 : 收入 增加 ， 则 支出 减少 。 之 
后 ， 当 他 试图 预测 在 某 一 收入 和 财富 都 增加 的 时 期 支出 的 变化 趋势 
时 ， 他 会 预测 到 支出 呈 下 降 趋势 ， 这 简直 错 得 离谱 。 


此 时 需要 运用 多 元 回归 分 析 。 

多 元 回归 模型 含有 多 个 解释 变量 。 例 如 ， 消 费 性 支出 模型 可 表示 为 : 
C= a+bY+cW 

C 代 表 消 费 性 支出 ，Y 代 表 家 庭 收 入 ，W 代 表 财 富 状况 。 

以 上 解释 变量 的 罗列 顺序 并 不 重要 。 重 要 的 是 将 哪些 变量 纳入 该 模 
型 ， 哪 些 排除 在 外 。 回 归 分 析 的 技巧 重点 在 于 选择 重要 的 解释 变量 ， 


忽略 不 重要 的 解释 变量 。 
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图 7.1 收入 和 支出 的 正 相关 系 散 点 图 
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图 7.2 收入 和 支出 的 负 相关 系 散 点 图 


系数 b 计 算 财富 状况 保持 不 变 时 收入 增加 对 支出 的 影响 ， 而 系数 c 计 算 
收入 保持 不 变 时 财富 增加 对 支出 的 影响 。 推 算 这 些 系数 的 数学 过 程 非 
党 复杂， 但 是 原理 很 简单 : 为 用 来 推算 模型 的 数据 选择 能 最 佳 地 预测 
消费 性 支出 的 推算 。 


我 们 已 经 在 第 4 章 了 解 到 ， 在 比较 支出 、 收 入 和 财富 这 些 都 会 随时 间 
推移 而 增加 的 变量 时 会 出 现 “ 假 性 相关 系数 ”"。 为 确保 不 被 假 性 相关 系 
数 误导 ， 我 要 看 的 是 去 除 通 胀 因素 后 的 支出 、 收 入 和 财富 的 年 度 百 分 
比 变化 。 

我 使 用 统计 学 软件 来 计算 美国 年 度数 据 的 回归 线 : 

C = 0.62 + 0.73Y 十 0.09W 


财富 保持 不 变 ， 收 入 每 增加 1%， 支出 预计 会 增加 0.73%。 收 入 保持 不 


变 ， 财 富 每 增加 1%， 支 出 预计 会 增加 0.09%。 图 7.3 为 实际 支出 的 百 
分 比 与 预测 支出 的 百分比 的 变化 对 比 图 ， 相 关系 数 竟 惊 人 地 达到 
0.82。 


财富 的 系数 看 似 很 小 ， 但 是 财富 的 变化 通常 很 大 。 有 好 几 年 ， 财 富 增 
加 或 下 降 的 幅度 超过 10%， 根 据 我 们 的 模型 预测 ， 消 费 性 支出 会 下 降 
0.9%， 这 就 形成 了 经 济 扩张 和 衰退 之 别 。 

多 元 回归 模型 的 效力 极 大 ， 远 比 简单 的 相关 系数 大 得 多 ， 因 为 它 将 多 
个 解释 变量 考虑 在 内 。 这 就 是 为 什么 多 元 回归 模型 是 较 重要 的 统计 学 
工具 之 一 。 


然而 ， 多 元 回归 模型 用 于 数据 挖掘 时 也 非常 容易 出 现 滥用 的 情况 。 
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图 7.3 美国 家 庭 的 预测 支出 与 实际 支出 的 百分比 变化 


预测 总 统 大 选 


在 统计 学 课 上 ， 我 要 求学 生 列 出 自 认 为 可 以 决定 总 统 大 选 结果 的 因 
素 。 他 们 提 到 了 经 济 、 候 选 人 个 性 、 国 家 是 否 处 于 战 时 状态 等 。 我 将 
他 们 的 想法 写 在 白板 上 ， 然 后 展示 我 的 模型 。 


100 多 年 来 ， 美 国 总 统 大 选 通常 都 是 民主 党 和 共和 党 两 党 的 总 统 候选 
人 之 争 。 执 政党 的 总 统 候选 人 要 么 是 总 统 本 人 ， 要 么 是 总 统 所 在 党 派 
的 提名 候选 人 。2012 年 ， 竞 选 第 二 任期 的 贝 拉克 :奥巴马 就 是 执政 党 
的 总 统 候选 人 。2016 年 ， 取 代 已 连任 两 届 的 奥巴马 而 参加 竞选 的 希拉 
里 .克林顿 ， 就 是 总 统 所 在 党 派 的 提名 候选 人 。 


执政 党 具备 很 多 优势 ， 包 括 有 更 便捷 的 渠道 接触 媒体 、 筹 集资 金 。 执 
政党 可 以 吸引 渴望 稳定 和 对 现状 满意 的 民众 。 另 外 ， 对 经 济 、 战 争 等 
问题 感到 不 满 的 选民 可 能 会 投票 支持 挑战 者 ， 即 替换 候选 人 。 据 佑 
it, 总统 候选 人 与 挑战 候选 人 的 优势 比 为 4 : 6， 尽 管 最 终结 果 显 然 取 
决 于 具体 候选 人 和 历史 环境 。 


如 果 我 告诉 学 生 ， 我 只 根据 执政 党 的 提名 候选 人 是 否 为 总 统 就 能 预测 
执政 党 在 两 党 投票 中 的 得 票 率 ， 他 们 肯定 认为 我 是 在 开玩笑 。 他 们 完 
全 有 理由 这 么 认为 。 我 们 都 知道 在 任 总 统 什么 时 候 表 现 好 ( 罗 纳 德 :里 
根 得 票 率 为 59% ) ， 什 么 时 候 表 现 不 好 ( 吉米 :卡特 得 票 率 为 44% ) 。 
但 是 ， 如 果 我 还 将 候选 人 是 否 曾 任 州 长 和 参议 员 等 因素 都 考虑 在 内 会 
怎么 样 ? 我 向 学 生 展 示 了 以 下 多 元 回归 模型 ， 该 模型 是 我 利用 过 去 10 
次 总 统 大 选 (1980 一 2016 年 ) 的 结果 推算 而 来 的 : 


i% = 78.31-7.35iP-13.07iV + 7.93cV-27.20iS 十 14.75cS-34.46iG 
+8.20cG- 19.54iR + 3.49cR 


i% = 执政 党 候选 人 获得 的 主要 党 派 投票 百分比 
iP = 执政 党 候选 人 是 总 统 时 等 于 1， 否 则 等 于 0 


iV = 执政 党 候选 人 担任 过 美国 副 总 统 时 等 于 1， 否 
则 等 于 0 


cV = 挑战 者 党 候选 人 担任 过 美国 副 总 统 时 等 于 1 ， 
否则 等 于 0 


iS = 执政 党 候选 人 担任 过 美国 参议 员 时 等 于 1， 否 则 
等 于 0 

cS = 挑战 者 党 候选 人 担任 过 美国 参议 员 时 等 于 1 ， 
否则 等 于 0 


iG = 执政 党 候选 人 担任 过 美国 州长 时 等 于 1 ,否则 
等 于 0 


cG = 挑战 者 党 候选 人 担任 过 美国 州长 时 等 于 1， 否 
则 等 于 0 


iR = 执政 党 候选 人 担任 过 美国 众 议 员 时 等 于 1， 否 
则 等 于 0 


CR = 挑战 者 党 候选 人 担任 过 美国 众 议 员 时 等 于 1 ， 
否则 等 于 0 


我 并 不 考虑 经 济 、 候 选 人 个 性 以 及 我 的 学 生 认为 重要 的 其 他 因素 。 我 
选择 一 些 依稀 相关 的 因素 ， 并 得 到 了 准确 无 误 的 关联 ， 因 为 我 的 等 式 
可 以 完美 地 预测 这 10 次 总 统 大 选 的 所 有 结果 。 例 如 ， 我 的 模型 对 希拉 
里 :克林顿 在 2016 年 两 党 投票 中 的 预测 结果 为 51.11%， 正 等 于 她 的 实 


际 得 票 率 。 


当 我 的 学 生 看 到 模型 与 数据 完全 匹配 时 ， 他 们 不 禁 认 为 我 已 经 找到 了 
预测 总 统 大 选 的 神器 。 我 的 模型 并 不 包括 他 们 认为 重要 的 任何 因素 ， 
但 是 它 看 上 去 很 合理 ， 因 为 它 使 用 了 与 总 统 候选 人 背景 相关 的 解释 变 
量 。 最 重要 的 是 ， 我 的 模型 与 数据 非常 吻合 ， 因 此 它 衣 定 正 确 ， 是 学 
生 自己 犯错 了 。 


然后 ， 我 又 给 他 们 展示 第 二 个 完全 符合 1980 一 2016 年 10 次 总 统 大 选 
数据 的 模型 : 


i% = 84.79 - 1.62T1 - 0.30T2 - 0.04T3 - 0.54T4 + 2.94T5 - 0.39T6 
+ 0.60T7 + 0.14T8 - 1.05T9 


这 9 个 解释 变量 均 为 大 选 之 日 的 最 高 气温 ， 分 别 来 自 9 座 城市 ， 并 且 这 
些 城市 所 在 的 大 州 只 有 极 少 数 选票 : 


T1 = 蒙 大 拿 州 博 兹 曼 市 的 最 高 气温 


T2 = 内 布 拉 斯 加 州 布 罗 肯 鲍 市 的 最 高 气温 


T3 = 佛蒙特 州 伯 灵 顿 市 的 最 高 气 

T4 = 缅 因 州 卡 里 布 市 的 最 高 气 ; 
TS = 怀俄明 州 科 迪 市 的 最 高 气温 
T6 = 特 拉 华 州 多 佛 市 的 最 高 气温 
T7 = 西 弗 吉 尼 亚 州 艾 尔 肯 斯 市 的 最 高 气温 
T8 = 北 达科他 州 法 戈 市 的 最 高 气温 

T9 = 爱 达 倚 州 波 卡 特 洛 市 的 最 高 气温 


之 所 以 选择 这 些 城市 ， 是 因为 我 喜欢 它们 的 名 字 ， 也 能 找到 它们 早 至 
1940 年 的 每 日 天 气 数据 。 


现在 ， 我 的 学 生 都 感到 困惑 了 ， 同 时 还 有 很 多 人 心 存疑 虑 。 这 些 都 是 
我 一 手 捏造 的 吗 ? 博 效 最 市 或 布 罗 肯 鲍 市 的 气温 怎么 会 对 总 统 大 选 千 
成 实质 影响 呢 ? 为 什么 执政 党 候选 人 获得 的 选票 与 博 兹 曼 市 的 温暖 天 
气 存在 负 相关 系数 ， 而 与 科 迪 市 的 温暖 天 气 存 在 正 相关 系数 ? 完全 没 
有 符合 逻辑 的 解释 ， 但 这 个 模型 却 与 数据 非常 吻合 


总 统 大 选 可 能 会 受到 天 气 影 响 。 这 可 能 是 搜 遍 数据 才能 发 现 的、 意料 
之 外 的 关系 。 我 可 能 偶然 做 到 了 知识 发 现 ， 证 明了 数据 挖掘 的 威力 。 
你 是 否 也 不 禁 信以为真 了 ? 


所 以 ， 我 决定 让 模型 看 似 更 加 芒 唐 。 我 推算 出 第 三 个 与 1980 一 2016 
年 10 次 总 统 大 选 数据 完全 相符 的 模型 : 


i% = 33.73 - 0.01R1 + 0.26R2 + 0.21R3 十 0.20R4-0.01R5 + 
0.19R6 + 0.01R7 - 0.33R8 - 0.18R9 


一 次 ， 解 释 变 量 的 确 都 是 随机 得 来 的 。 我 使 用 了 计算 机 软件 随机 生 
ain 这 些 数 字 与 现实 世界 没有 一 点 关系 ， 与 总 统 选 举 年 
期 间 美国 发 生 的 事情 更 没有 关系 。 但 是 ， 该 模型 与 数据 的 匹配 度 还 是 
非常 高 。 


尽管 我 的 学 生 满腹 疑 团 ， 但 这 一 切 确 实 并 非 我 无 中 生 有 。 不 过 ， 我 确 
实 有 个 秘诀 。 


独家 秘诀 


a 


假设 我 想 解 释 为 什么 2016 年 底 的 股价 会 比 2015 年 底 的 高 10%， 并 且 

我 声称 这 一 切 都 是 因为 天 气 。 具 体 来 说 ， 是 因为 位 于 加 利 福 尼 亚 州 中 
央 山 谷 的 波 特 维尔 小 镇 的 天 气 ， 我 父亲 就 在 那里 长 大 。 你 会 认为 我 产 
了 ， 而 如 果 我 真 的 这 么 想 ， 那 么 你 说 得 也 没 错 。 但 是 ， 你 先 听 我 把 话 


说 完 。 


图 7.4 所 示 的 数据 散 点 图 为 2015 年 和 2016 年 最 后 一 天 的 标准 普尔 500 
指数 以 及 波 特 维尔 的 最 低 气 温 。 图 中 显示 两 者 存在 绝对 完美 的 相关 关 
系 。 这 两 个 变量 之 间 的 相关 性 为 1。 股 价 完全 可 以 根据 我 父亲 家 乡 的 
气温 变化 来 预测 。 谁 能 想到 呢 ? 
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图 7.4 用 加 利 福 尼 亚 州 波 特 维尔 小 镇 的 最 低 气温 预测 股价 


秘诀 ( 这 当然 少不了 ) 就 是 ， 散 点 图 中 的 两 点 之 间 总 会 存在 完美 的 线 
性 关系 。 我 还 可 以 选择 1974 年 和 1997 年 出 生 的 、 名 叫 克莱尔 的 新 生 
儿 数 量 ， 或 是 圣安东尼奥 马刺 篮球 队 在 2012 年 和 2015 年 的 获胜 场 
数 。 这 些 数 据 和 标准 普尔 500 指 数 之 间 同 样 会 存在 完美 的 线性 关系 ， 
因为 连接 两 点 总 会 出 现 一 条 直线 。 


然而 ， 这 种 拟 合 关 系 却 毫 无 用 处 。 任 何 试图 通过 波 特 维尔 的 气温 来 预 
测 股价 的 人 ， 都 会 以 失败 而 告终 。 


我 在 二 维 图 表 中 使 用 两 个 数据 点 ， 说 明 这 种 荡 唐 的 想法 适用 于 采用 更 
多 数据 的 、 更 复杂 的 模型 。 图 7.4 使 用 一 个 解释 变量 ( 波 特 维尔 的 气 
im ) 完全 匹配 了 两 种 观察 结果 。 如 果 有 3 种 观察 结果 ， 两 种 解释 变量 
也 完全 匹配 。 即 便 有 10 种 观察 结果 ，9 种 解释 变量 也 是 一 样 的 情况 。 


这 就 是 我 得 出 上 述 三 个 预测 10 次 总 统 大 选 的 模型 的 方法 ， 一 个 比 一 个 
离谱 ， 秘 诀 在 于 使 用 9 个 解释 变量 ， 仅 此 而 已 。 这 9 个 解释 变量 也 没有 
什么 特别 之 处 ， 任 何 9 个 都 可 以 。 重 点 在 于 ， 我 使 用 这 9 个 变量 的 目的 
是 预测 10 次 大 选 。 


这 就 是 所 谓 的 “过 拟 合 ”( overfitting ) 数据 的 极端 例子 。 在 任何 实证 
模型 中 ， 我 都 能 通过 增加 越 来 越 多 的 解释 变量 ， 来 提高 模型 的 解释 力 
一 一 在 极端 的 例子 中 ， 可 以 将 其 提高 到 精确 吻合 的 程度 。 变量 是 否 合 
理 几 乎 无 足 轻重 。 


这 种 建 模 方法 也 就 是 常 说 的 “厨房 水 槽 法 ”， 即 一 股 脑 把 所 有 解释 变量 
统统 塞 进 模型 中 。 无 法 避免 的 问题 是 ， 即 使 模型 与 原始 数据 吻合 度 很 
高 ， 使 用 新 数据 来 预测 也 丝毫 不 起 作用 。 波 特 维尔 的 天 气 不 能 准确 预 
测 股价 ， 除 非 “ 瞎 猫 碰 到 死 耗 子 ”。 我 做 的 包含 9 个 变量 的 总 统 大 选 模 
型 也 无 法 准确 预测 其 他 总 统 大 选 结果 ， 除 非 恰 打 正 着 。 


回 看 1980 年 之 前 的 10 次 总 统 大 选 ， 就 能 看 清 我 做 的 总 统 大 选 模型 的 
缺点 。 如 图 7.5 所 示 ， 运 用 时 任 总 统 情况 和 挑战 者 的 数据 得 出 的 模型 1 
与 1980 一 2016 年 间 的 10 次 总 统 大 选 结果 完全 吻合 ， 但 是 与 1980 年 之 
前 的 10 次 总 统 大 选 的 结果 却 截然 不 同 。 该 模型 预测 理 查 德 .尼克 松 会 在 
1972 年 的 大 选中 惨败 ， 普 选 得 票 率 仅 为 29%。 可 实际 上 他 以 绝对 优势 
取胜 ， 普 选 得 票 率 高 达 62%。 尼克 松 拿 下 了 除 马萨诸塞 州 之 外 的 各 个 
大 州 ， 这 个 “海湾 之 州 2 的 一 些 民 众 还 在 保险 枉 上 贴 了 贴纸 :“ 别 怪我 
们 。?” 


模型 1 对 1956 年 和 1964 年 总 统 大 选 的 预测 结果 更 是 一 塌 糊 涂 ， 竟 然 预 
测 德 怀特 .艾森豪威尔 在 1956 年 的 得 票 率 高 达 几 乎 不 可 能 的 79% ( 实 
际 结果 为 58% ) ， 还 预测 林 登 .约翰逊 在 1964 年 的 得 票 率 低 至 几乎 不 
可 能 的 26% (实际 结果 为 61% ) 。 


我 过 度 拟 合 了 最 近 那 10 年 的 总 统 大 选 数据 ， 随 后 尝试 预测 早 前 的 大 选 
结果 (以 失败 而 告终 ) 。 我 同样 也 可 以 通过 过 度 拟 合 早 前 10 年 的 总 统 
大 选 结果 来 推算 系数 ， 然 后 再 用 这 个 模型 来 预测 最 近 10 年 的 总 统 大 选 
结果 。 如 图 7.6 所 示 ， 修 订 版 模型 与 1940 一 1976 年 之 间 的 10 次 总 统 况 
选 结果 完全 吻合 ， 但 对 最 近 10 年 的 总 统 大 选 的 预测 结果 却 糟糕 透顶 。 
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图 7.5 使 用 1980 一 2016 年 过 拟 合 数据 预测 总 统 大 选 
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图 7.6 使 用 1940 一 1976 年 过 拟 合 数据 预测 总 统 大 选 


模型 2 和 模型 3 的 情况 与 此 如 出 一 略 。 如 图 7.7 所 示 ， 气 温 模 型 与 用 来 
推算 该 模型 的 数据 完全 吻合 ， 但 是 对 其 他 年 份 大 选 结果 的 预测 却 不 尽 
如 人 意 。 该 模型 预测 富兰克林 :罗斯 福 在 1940 年 大 选中 的 得 票 率 

为 -11% ( 没 错 ， 就 是 负数 ) ， 而 他 的 实际 得 票 率 为 559%。 


坦白 说 ， 使 用 9 个 解释 变量 来 预测 10 次 总 统 大 选 是 个 极端 例子 。 我 这 
么 做 是 想 说 明 一 个 普遍 原理 ， 那 就 是 即使 在 回归 模型 中 增加 之 无 意义 
的 解释 变量 也 会 提高 模型 的 吻合 度 。 


在 预测 总 统 大 选 的 天 气 模型 中 ， 我 们 不 需要 添加 全 部 9 个 解释 变量 才 
能 达到 很 高 的 吻合 度 ， 即 便 只 有 5 个 解释 变量 ( 即 伯 灵 顿 市 、 科 过 
市 、 多 佛 市 、 艾 尔 衣 斯 市 和 波 卡特 洛 市 的 天 气 ) ， 天 和气 模 型 预测 结果 
与 实际 得 票 率 之 间 的 相关 系数 也 会 达到 0.94 : 
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图 7.7 使 用 1980 一 2016 年 的 天 和 气 数据 来 预测 总 统 大 选 


如 图 7.8 所 示 ， 显 然 ， 这 个 包含 5 个 解释 变量 的 天 气 模型 与 1980 一 
2016 年 的 大 选 数据 高 度 吻合 ， 而 与 1940 一 1976 年 的 数据 大 相 径 庭 : 
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图 7.8 使 用 5 座 城 市 的 气温 来 预测 总 统 大 选 


我 们 还 能 以 更 少 的 解释 变量 达到 很 高 的 吻合 度 。 包 括 4 座 城市 〈 伯 灵 
顿 市 、 科 迪 市 、 艾 尔 衣 斯 市 和 波 卡特 洛 市 ) 的 天 气 数据 的 模型 与 1989 
一 2016 年 大 选 结果 的 相关 系数 为 0.86， 而 包括 3 座 城市 〈 科 迪 市 、 艾 
尔 肯 斯 市 和 波 卡 特 洛 市 ) 的 数据 时 相关 系数 为 0.79。 


如 果 将 该 模型 与 1940 一 1976 年 的 数据 匹配 ， 情 况 也 是 一 样 。 包 括 4 座 
城市 ( 布 罗 肯 鲍 市 、 多 佛 市 、 艾 尔 肯 斯 市 和 法 戈 市 ) 的 天 气 数据 的 模 
型 与 1940 一 1976 年 大 选 结果 的 相关 系数 为 0.89 ; 而 包括 3 座 城市 〈 布 
罗 肯 鲍 市 、 艾 尔 肯 斯 市 和 法 戈 市 ) 的 天 气 数据 时 相关 系数 为 0.86。 


我 选 出 这 些 城市 的 依据 是 什么 呢 ? 我 有 25 座 城市 每 日 最 高 和 最 低 气温 
的 数据 ， 使 用 数据 挖掘 软件 将 这 50 个 变量 的 所 有 可 能 组 合 统统 考虑 在 
内 ， 然 后 识别 出 与 总 统 大 选 结果 吻合 度 最 高 的 组 合 。 


结果 显示 ，1980 一 2016 年 吻合 度 最 高 的 城市 与 1940 一 1976 年 吻合 度 
最 高 的 城市 截然 不 同 ， 因 为 该 模型 没有 理论 基础 。 这 些 我 用 来 寻找 假 
性 相关 系数 的 数据 本 质 上 是 随机 的 。 任 何 差强人意 的 数据 挖掘 程序 都 
能 得 到 同样 毫 无 意义 的 结果 ， 而 且 还 根本 不 知道 这 些 都 是 无 稽 之 谈 。 


如 果 解 释 变量 威 少 ， 随 机 变量 模式 也 还 是 能 与 数据 高 度 吻合 ， 如 解释 
变量 威 至 5 个 ， 相 天 系数 为 0.97 | 碱 至 4 个 ， 相 关系 数 为 0.95 ; 减 至 3 
个 ， 相 关系 数 为 0.89。 一 切 都 与 天 气 模型 非常 相似 ， 如 果 某 一 年 的 数 
据 没 有 拿 来 推算 该 模型 ， 那么 这 个 模型 对 该 年 度 大 选 结果 的 预测 富 无 
用 处 。 


由 此 得 出 的 结论 不 可 忽视 。 数 据 挖掘 能 轻易 发 现 包 括 多 个 解释 变量 的 
模型 ， 即 便 解 释 变量 与 所 要 预测 的 变量 宫 无 关系 也 能 与 数据 达到 惊人 
的 吻合 度 。 不 足 是 ， 数 据 挖掘 软件 不 能 评估 模型 是 否 合理 ， 因 为 对 计 
算 机 软件 来 说 ， 数 字 只 是 数字 而 已 。 


我 们 如 何 分 辨 所 发 现 的 模型 是 真实 还 是 虚假 的 呢 ? 只 要 懂得 利用 人 类 
对 变量 的 认识 ， 就 能 判断 所 发 现 的 模型 是 否 具有 逻辑 基础 。 


我 一 直 在 强调 这 一 点 ， 是 因为 我 与 很 多 聪明 的 相关 人 士 都 交谈 过 ， 他 
们 虽 是 出 于 好 意 ， 但 始终 不 能 完全 理解 找到 偶然 性 的 模型 和 关联 性 是 
多 么 轻而易举 的 事情 ， 其 中 还 包括 大 多 数 和 我 交流 过 的 数据 挖掘 者 。 
很 多 人 都 模糊 意识 到 可 能 存在 假 性 相关 系数 ， 但 尽管 如 此 ， 他 们 还 是 
相信 模型 和 关联 性 的 统计 学 证 据 足 以 证 明 它 们 就 是 真实 存在 的 。 


2017 年 ，《 华 尔 街 日 报 》 的 首席 经 济 评论 员 格 雷 格 - 伊 普 采 访 了 一 家 
为 企业 开发 人 工 智 能 应 用 程序 的 公司 的 合伙 创始 人 。 伊 普 复 述 了 此 人 


如 果 在 大 学 学 过 统计 学 ， 你 就 会 知道 如 何 利 用 输入 来 
预测 输出 ， 例 如 ， 基 于 身体 指数 、 胆 固 醇和 吸烟 状况 
来 预测 死亡 率 。 可 以 通过 添加 或 取消 输入 来 提高 模型 
的 “吻合 度 ”。 


机 器 学 习 使 用 强大 的 算法 和 计算 机 来 分 析 更 多 的 输 
入 。 例 如 ， 数 码 图 片 中 的 数 百 万 像素 ， 不 仅 有 数字 ， 
还 有 图 像 和 声音 。 它 从 变量 组 合 中 衍生 出 更 多 变量 ， 
直至 能 最 准确 地 回答 问题 ( 如 “这 是 一 张 狗 的 图 片 
吗 ”) 或 者 能 最 圆满 地 完成 任务 ( 如 “说 服 观 看 者 点 击 
本 链接 ”) 。 


此 言 差 侨 ! 学 习 统 计 学 的 学 生 在 大 学 里 应 该 学 到 的 是 : 仅 为 了 提高 适 
合 度 就 添加 或 取消 输入 有 上 自 害 而 无 一 利 。 机 器 学 习 也 是 如 此 。 搜 饥 数 
字 、 图 像 和 声音 寻求 最 佳 匹 配 ， 这 是 盲目 的 数据 挖掘 ， 考 虑 的 输入 越 
多 ， 所 选 变量 的 虚假 度 就 可 能 越 高 。 


数据 挖掘 的 根本 问题 在 于 : 它 非常 擅长 找到 匹配 数据 的 模型 ， 但 对 判 
断 模型 是 否 荒唐 可 笑 完 全 束手无策 。 统 计 学 相关 系数 无 法 奉 代 专业 人 
土 的 意见 。 


为 现实 世界 建 模 的 最 佳 方法 是 ， 从 具有 吸引 力 的 理论 学 说 开始 

( 如 “经 济 状 况 会 影响 总 统 大 选 ”) ， 然 后 验证 模型 。 合 理 的 模型 可 对 
其 他 数据 做 出 有 用 的 预测 ， 而 不 是 预测 用 来 推算 模型 的 数据 。 数 据 挖 
掘 则 是 反 其 道 而 行 之 ， 它 没有 基础 理论 ， 因 此 无 法 区 分 合理 与 匾 廖 的 
模型 。 这 就 是 为 什么 这 些 模 型 对 于 全 新 数据 的 预测 结果 并 不 可 靠 。 


非 线 性 模型 


除了 通过 筛选 全 部 解释 变量 ， 数 据 挖掘 算法 还 能 通过 大 量 非 线性 模型 
来 过 度 拟 合 数据 。 


图 7.9 所 示 的 简单 散 点 图 使 用 了 假设 数据 。 图 中 的 三 个 观察 结果 都 没 
有 在 直线 ( 线性 模型 ) 上 ， 但 还 是 可 以 看 出 其 大 臻 走向， 如果 X 和 Y 之 
间 确 实 存在 因果 天 系 ， 则 可 能 有 助 于 预测 Y 值 。 


图 7.9 线性 模型 与 三 种 观察 结果 不 吻合 


图 7.10 所 示 的 非 线性 模型 与 这 三 个 观察 结果 完全 吻合 。 可 以 因此 说 图 
7.10 的 非 线性 模型 是 图 7.9 线 性 模型 的 改进 版 吗 ? 不 一 定 ， 数 据 挖掘 
算法 没有 合理 的 方式 进行 判断 。 


图 7.9 的 模型 显示 ，X 值 上 升 ，Y 值 也 上 升 ， 增 幅 保持 不 变 。 图 7.10 的 
模型 显示 ，X 值 上 升 ，Y 值 上 升幅 度 越 来 越 小 直至 变 为 负数 ，X 值 大 于 
7 时 ，Y 值 为 负数 。 


要 用 与 模型 不 吻合 的 X 值 来 预测 Y 值 ， 哪 个 模型 更 有 效 呢 ? 看 情况 。 如 
果 X 表 示 家 庭 收 入 ，Y 表 示 支 出 ， 则 如 图 7.9 所 示 ， 收 入 增加 时 ， 支 出 
也 以 大 致 相同 的 幅度 增加 ， 这 种 说 法 很 合理 。 但 是 如 图 7.10 所 示 ， 收 
入 增加 到 某 个 点 时 导致 支出 减少 ， 直 至 降 为 负数 ， 这 就 说 不 过 去 了 。 


X 


图 7.10 非 线性 模型 与 三 种 观察 结果 完全 吻合 


此 外 ， 假 设 X 表 示 施 给 土豆 盏 的 氮 素 数量 ,Y 表 示 生 长 状况 。 这 种 情况 
下 ， 如 图 7.9 所 示 ， 即 每 多 施加 一 点 氮 素 ， 生 长 就 会 快 一 些 ， 这 不 合 
常理 。 对 比 之 下 图 7.10 更 合理 ， 随 着 氮 素 的 用 量 不 断 增加 ， 其 对 土豆 
苗 生 长 的 促进 作用 也 会 不 断 碱 弱 。 在 某 一 点 上 ， 额 外 的 氮 素 会 有 碍 土 
豆 苗 的 生长 ， 土 豆 苗 甚至 会 因为 氮 素 过 多 而 死亡 。 


数据 挖掘 算法 如 何 能 够 决定 是 图 7.9 中 的 线性 模型 还 是 图 7.10 中 的 非 
线性 模型 可 以 更 好 地 表示 建 模 的 事实 情况 呢 ? 当然 不 可 以 只 通过 看 哪 
个 模型 与 数据 更 加 匹配 来 决定 ! 我 们 只 能 通过 专家 ( 即 人 类 ) 的 建议 
来 评估 哪个 模型 更 符合 现实 ， 才 能 在 这 些 或 其 他 模型 中 做 出 选择 。 


图 7.11 展 示 了 更 极端 的 例子 。 如 果 存 在 符合 逻辑 的 解释 ， 这 个 解释 似 
乎 能 将 直线 与 所 有 数据 完全 匹配 ， 将 直线 附近 的 点 解释 为 模型 之 外 其 


他 因素 造成 的 不 可 避免 的 波动 。 除 非 发 生 剧 烈 变 动 ， 否 则 利用 线性 模 
型 应 该 可 以 做 出 合理 精确 的 预测 。 


图 7.11 合理 的 线性 模型 


图 7.12 显 示 了 数据 挖掘 算法 为 了 完全 匹配 数据 而 选择 过 度 复杂 的 非 线 
性 模型 后 出 现 的 混乱 趋势 。 尽 管 与 原始 数据 完全 吻合 ， 但 只 要 输入 新 
的 Xx 值 ， 该 非 线 性 模型 的 预测 结果 就 肯定 会 差 之 干 里 ， 甚至 会 令 人 菲 
夷 所 思 。 


问题 自始至终 都 在 于 ， 数 据 挖 掘 算法 寻找 模型 ( 这 也 是 它 非常 擅长 的 
事情 ) ， 但 是 没有 办 法 评估 自己 找到 的 模型 。spending (花费 ) 、 

income (收入 ) 和 wealth( 财富 ) 等 词语 都 只 是 字母 组 合 而 已 ， 正 如 
奈 杰 尔 : 理 查 北 用 自己 不 懂 的 语言 玩 拼 字 游 戏 那样 。 计 算 机 算法 不 能 分 
辨 模型 中 应 该 包括 哪些 解释 变量 ， 也 说 不 出 线性 和 非 线 性 模型 哪个 更 
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都 需要 人 类 智慧 来 做 决定 。 


Un 


图 7.12 不 合理 的 非 线 性 模型 


File does not exist 
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IBM 的 “ 沃 森 ?在 《危险 边缘 》 游 戏 中 夺冠 后 ， 得 到 了 
铺天盖地 的 宣传 ， 不 过 “ 沃 森 ” 的 潜在 价值 更 多 体现 在 
能 够 为 医生 、 律 师 等 需要 快速 准确 获得 信息 的 专业 人 
土 提供 大 规模 的 数码 资料 库 上 。 


当 医 生 怀疑 病人 患 有 某 种 疾病 时 ，“ 沃 森 ” 可 以 列 出 可 识别 的 症状 ; 当 
医生 注意 到 患者 出 现 异常 情况 ， 但 不 确定 这 些 症状 与 哪 种 疾病 相关 
时 ，“ 沃 森 ” 可 以 列 出 可 能 的 疾病 ; 当 医 生 确 认 患 者 得 了 某 种 疾病 

时 ，“ 沃 森 ” 可 以 列 出 推荐 疗法 。 在 上 述 每 种 情况 下 ，“ 沃 森 ” 都 会 给 出 
多 种 建议 ， 随 附 其 他 相关 的 可 能 性 ， 以 及 它 所 依据 的 就 医 记 录 和 杂志 
期 刊 文章 的 超 链接 。 


“ 沃 森 ”和 其 他 医学 数据 库 都 是 宝贵 的 资源 ， 可 以 利用 计算 机 的 能 力 来 
获取 、 储 存 和 搜索 信息 。 不 过 ， 还 是 有 很 多 地 方 需要 注意 。 显 而 易 见 
的 一 点 就 是 医学 数据 库 远 不 像 《 危 险 边 缘 》 的 数据 库 那 么 可 靠 。 人 工 
智能 算法 非常 擅长 在 数据 中 寻找 模型 ， 但 它 并 不 擅长 评估 数据 的 可 靠 
性 和 统计 学 分 析 的 合理 性 。 


如 果 医 生 将 患者 的 症状 输入 黑匣子 式 的 数据 挖掘 软件 并 获得 建议 疗 
法 ， 但 得 不 到 关于 诊断 或 药方 的 任何 解释 ， 就 可 能 导致 悲剧 性 的 后 
果 。 试 想 ， 出 现 以 下 情况 ， 你 会 有 何 种 反应 。 你 的 医生 说 :“ 我 查 不 
出 你 的 病因 ， 但 电脑 显示 要 ‘服用 这 些 药物 "。” 或 者 “我 查 不 出 你 的 病 
, 但 电脑 建议 动手 术 ”。 


任何 使 用 神经 网 络 或 数据 规约 程序 的 医学 软件 ， 如 主 成 分 分 析 和 因子 
分 析 ， 都 只 是 勉强 能 够 为 诊断 和 治疗 提供 解释 。 病 患 不 知 其 所 以 然 ， 
医生 也 不 知道 ， 甚 至 开发 黑匣子 系统 的 软件 工程 师 都 不 知道 。 总 之 ， 
没 人 知道 。 


“ 沃 森 ”和 类 似 软件 是 极 佳 的 参考 工具 ， 但 它们 无 法 替代 医生 ， 因 为 医 
学 文献 通常 有 误 ， 数 据 挖掘 软件 的 使 用 苔 加 了 这 些 错 误 。 


明 早 再 给 我 打 电 话 


几 年 前 ， 我 做 了 一 次 例 行 体检 ， 量 了 身高 、 体 重 ， 回 答 了 两 页 纸 的 问 
题 ， 都 是 天 于 我 的 生活 方式 的 〈 我 不 抽烟 ) ， 还 做 了 一 大 堆 测 试 。 护 
士 量 了 我 的 体温 、 心 率 和 血压 ， 还 检测 了 尿 常 规 和 血 常规 ， 检 测 目的 
具体 是 什么 也 不 清楚 。 当 天 晚上 ， 我 接 到 回馈 电话 ， 被 告知 某 项 检测 
(我 记 不 清 是 哪 项 了 ) 的 结果 有 些 问题 。95% 的 健康 人 十 的 该 项 检测 
结果 都 在 “正常 ”范围 内 ， 而 我 的 这 项 检测 结果 “不 正常 ”, 所 以 显然 我 
的 身体 是 不 健康 的 。 


医生 说 ;“ 不 用 担心 。” 她 让 我 吃 两 片 阿司匹林 ， 睡 个 好 觉 ， 第 二 天 再 
回去 复 检 。 我 照 做 了 ， 第 二 天 的 复 检 结果 正常 ， 我 也 松 了 一 口气 。 


是 多 亏 了 那 两 片 阿司匹林 ， 还 是 前 一 晚 的 好 觉 ? 可 能 两 者 皆 非 。 最 有 
可 能 的 是 ， 这 不 过 为 随机 噪声 。 任 凭 哪个 健康 人 来 做 那些 检测 ， 结 果 
都 会 出 现 变 动 。 一 天 中 的 不 同时 段 、 消 化 状况 和 个 人 情绪 都 会 影响 血 
压 。 摄 取 的 食物 和 检测 前 运动 与 否 都 会 影响 胆固醇 的 检测 结果 。 设 备 
误差 以 及 读数 、 记 录 、 解 读 时 的 人 为 失误 都 容易 影响 检测 结果 。 


如 果 一 次 检测 结果 碰巧 过 高 或 过 低 ， 再 次 检测 的 结果 就 可 能 会 接近 平 
均值 。 这 种 逆转 情况 让 评估 医学 疗法 的 作用 变 得 困难 。 就 我 的 例子 来 
说 ， 根 本 不 知道 是 阿司匹林 还 是 睡 个 好 觉 起 了 作用 。 


有 人 说 :“ 如 果 治 疗 得 当 ， 感 冒 14 天 就 会 康复 ; 如 果 顺 其 自然 ， 病 情 
也 就 持续 两 周 。 ”虽然 医生 说 “ 明 早 再 给 我 打 电 话 ” 时 ， 听 上 去 像 是 为 了 
少 点 麻烦 ， 但 这 就 是 老 方 法 的 大 智慧 。 


即使 我 感冒 之 后 吃 了 阿司匹林 不 见效 ， 第 二 天 早上 也 还 是 会 有 所 好 
转 ， 因 为 身体 有 极其 惊人 的 自 愈 能 力 。 假 设 你 身上 有 道 伤 口 深 到 流 
了 ， 肌体 的 血小板 会 凝 国 血液 ， 然 后 结 闯 修 复 皮 肤 。 这 一 切 都 是 身体 
的 自 全 ， 无 须 任何 医学 干预 。 


“ 明 早 再 给 我 打 电话 ”的 做 法 可 行 ， 原 因 有 二 。 第 一 ， 医 学 测试 无 法 完 
全 准确 检测 病 患 状况 。 第 二 ， 病 患 的 身体 能 对 抗 疾 病 ， 通 常 患 病 之 后 
不 进行 治疗 也 都 会 有 所 好 转 。 


比 起 不 必要 的 担心 ， 医 学 干预 的 后 果 更 加 严重 。 偶 然 波 动 引 起 的 读数 
异常 ， 会 带 来 不 必要 的 治疗 。 接 受 治疗 后 的 检测 结果 改善 ， 又 会 不 知 
不 觉 让 人 相信 是 治疗 见效 了 。 


假设 有 一 大 批 人 进行 体检 ， 其 中 被 检查 出 胆固醇 指标 最 高 的 人 会 被 告 
知 要 特别 注意 饮食 。 我 们 能 预见 到 他 的 胆固醇 指标 会 有 所 改善 ， 即 便 
饮食 调节 的 指导 无 非 就 是 “< 吃 前 请 三 思 ”。 


此 外 ， 我 们 都 知道 ， 止 痛 药 的 效果 因 人 而 异 ， 大 多 数 医 学 治疗 都 是 如 
此 ， 没 有 完全 有 效 或 无 效 的 疗法 。 如 果 有 效果 不 显著 或 因 患者 情况 不 
同 而 各 异 的 情况 出 现 ， 医 学 测试 的 结果 就 取决 于 哪些 人 被 随机 分 配 到 
了 服用 药物 的 实验 组 ， 哪些 人 被 分 配 到 了 服用 安慰 剂 的 控制 组 。 


统计 学 家 尝试 解释 上 述 的 随机 变化 ， 他 们 假设 差异 纯 属 偶 然 ， 然 后 评 
估 实 验 组 和 控制 组 之 间 的 差异 和 观察 结果 一 样 显著 的 可 能 性 有 多 大 。 


P 值 小 于 等 于 0.05 则 具有 统计 学 意义 。 这 意味 着 ， 没 有 价值 的 被 测 疗 
法 只 有 5% 的 机 会 显示 其 统计 学 意义 ， 也 就 表示 仍 有 5% 的 无 价值 疗法 
会 得 到 具有 统计 学 意义 的 结果 。 


医学 研究 是 个 弱肉强食 的 领域 ， 才 智 过 人 和 竞争 力 强 的 科学 家 一 辈子 
都 在 为 名 誉 和 经 费 而 奋斗 ， 以 维持 其 职业 发 展 。 为 了 达到 这 一 目的 ， 
这 些 科学 家 需要 获得 并 发 表 具 有 统计 学 意义 的 结 必要 时 不 择 手 
段 ， 其 中 就 包括 得 州 神枪手 谬误 1 和 诸 误 2。 


研究 人 员 只 要 通过 大 量 的 疗法 测试 就 能 得 到 有 统计 学 意义 的 结果 ， 即 
便 他 们 受到 了 误导 ， 测 试 的 只 是 无 用 的 疗法 ， 在 上 百 次 无 用 疗法 测试 
后 ， 他 们 还 是 会 发 现 其 中 5% 具 有 统计 学 意义 一 一 这 足以 促成 其 文章 
发 表 ， 使 经 费 提 案 获 批 。 


同样 ， 医 药 公 司 能 够 从 临床 “验证 ”有效 的 疗法 中 获得 巨额 利润 。 确 保 
某 些 疗法 得 到 支持 的 一 种 方法 是 ， 测 试 数 以 干 计 的 疗法 ， 无 论 遇 到 多 
少 统计 学 障碍 ， 运 气 都 能 确保 某 些 无 用 疗法 跨越 所 有 障碍 。 


下 面 让 我 们 一 起 来 看 三 个 “得 州 神枪手 "的 例子 。 
我 要 再 喝 一 杯 咖 啡 


20 世 纪 80 年 代 早 期 ， 据 全 世界 顶尖 的 医学 期 刊 《新 英格兰 医学 期 刊 》 
报道 ， 广 受 赞誉 的 研究 者 、 哈 佛 公共 卫生 学 院 院 长 布 莱 恩 :迈克 马 宏 所 
带领 的 团队 发 现 “饮用 咖啡 与 胰腺 癌 有 极 大 关联 * 这 个 来 自 哈佛 大 学 
的 团队 建议 人 们 不 要 再 喝 咖 啡 ， 以 降低 患 胰腺 瘤 的 风险 。 在 此 项 研究 
之 前 ， 迈 克 马 宏 自 己 每 天 都 喝 三 杯 咖啡 ， 在 此 之 后 他 就 再 也 不 喝 了 。 


这 就 出 现 了 得 州 神枪手 廖 误 1 中 的 问题 。 该 研究 旨 在 调查 喝酒 或 抽烟 
与 患 胰 腺 癌 之 间 的 联系 ， 近 克 马 宏 研 究 过 酒 类 、 和 香烟、 雪 前 、 烟 斗 ， 
没有 任何 发 现 ， 于 是 他 就 继续 找 ， 又 研究 了 茶叶 。 最 后 ， 他 终于 在 咖 
啡 上 有 了 发 现 : 胰腺 癌 患 者 喝 的 咖啡 多 。 


如 果 上 述 六 项 测试 都 单独 进行 ， 每 项 测试 都 包含 一 些 与 胰腺 瘤 无 天 的 
因素 ， 那 么 有 26% 的 概率 会 在 至 少 一 项 测试 中 产生 一 个 具有 统计 学 意 
义 (P 值 为 0.05 ) 的 天 联 , 也 就 是 说 有 26% 的 机 会 可 以 无 中 生 有 。 


迈克 马 宏 的 研究 还 有 另 一 个 缺陷 。 他 将 患 胰腺 癌 的 住院 病人 与 患 其 他 
疾病 的 病人 进行 对 比 ， 并 且 这 些 病 人 都 由 同一 批 医生 负责 。 问 题 在 
于 ， 这 些 医生 通常 都 是 胃 肠 专科 医生 ， 他 们 的 很 多 患者 都 因为 害怕 演 
疡 恶化 而 戒 了 咖啡 。 但 胰腺 瘤 患者 没有 停止 喝 咖 啡 ， 他 们 中 喝 咖啡 的 
人 更 多 。 所 以 并 非 喝 咖啡 导致 了 胰腺 癌 ， 而 是 患 其 他 疾病 的 病人 不 再 
喝 咖啡 了 。 


后 续 研究 一 一 其 中 一 项 来 自 迈 克 马 宏 的 团队 一 一 也 未 能 证 实 最 初 的 研 
究 结果 。 这 一 次 ， 他 们 得 出 的 结论 是 :“ 据 观察 ， 与 早 前 研究 相 比 ， 
喝 咖啡 对 男性 或 女性 都 不 存在 危险 。” 美 国 癌症 协会 也 认为 :“ 最 近 的 
科学 研究 表明 ， 喝 咖啡 和 患 胰腺 癌 、 乳 腺 癌 等 癌症 没有 任何 关系 。” 


更 近期 的 研究 不 仅 驳斥 了 迈克 马 安 最 初 的 研究 结果 ， 而 且 结果 显示 喝 
咖啡 (至少 对 男性 来 说 ) 反而 会 降低 患 胰腺 癌 的 概率 ! 


远程 治疗 


20 世 纪 90 年 代 ， 年 轻 的 伊 丽 水 白 . 塔 尔格 医生 研究 了 遥远 的 祈祷 和 其 
他 积极 意念 是 否 能 治 全 晚期 艾滋 病 患者 。40 名 艾滋 病 患者 被 分 成 两 
组 。 和 祈祷 组 患者 的 照片 会 被 发 送 给 有 经 验 的 远程 治疗 师 ( 从 佛教 、 基 
BA, WAAR F MMB ) ， 他 们 与 病 患 平均 相隔 约 1 491 
英里 。 非 祈祷 组 的 20 名 患者 则 完全 靠 自 己 。 


此 次 测试 采用 “ 双 盲 ”( double-blinded ) 程序 ， 塔 尔格 和 病 患 都 不 知 
道 哪些 病 患 是 祈祷 组 的 ， 以 免 影响 测试 结果 。 


为 期 六 个 月 的 研究 发 现 ， 入 壬 组 的 患者 就 医 时 间 更 短 ， 瞧 患 与 艾滋 病 
有 关 的 疾病 更 少 。 这 次 研究 的 结果 具有 统计 学 意义 ， 发 表 在 享誉 盛名 
的 医学 期 刊 上 。 人 们 出 于 各 自 的 目的 引用 塔 尔 格 的 研究 来 证 明 上 帝 的 
存在 ， 或 是 指出 传统 观念 对 心智 、 身 体 、 时 间 和 空间 的 认识 不 足 。 


美国 国家 卫生 研究 所 给 塔 尔格 拨款 150 万 美元 ， 用 以 更 大 规模 的 艾滋 
病 患者 研究 和 对 远程 治疗 师 能 否 缩小 脑 癌 患 者 的 恶性 肿瘤 的 调查 。 就 
在 获得 拨款 不 久 后 ， 塔 尔格 自己 也 被 诊断 出 得 了 脑 癌 ， 尽 管 世界 各 地 
都 有 治疗 师 为 她 祈祷 和 发 送 治疗 能 量 ， 但 她 还 是 在 四 个 月 后 去 世 了 。 


塔 尔格 去 世 后 ， 其 早 前 对 40 名 艾滋 病 患 者 开展 的 研究 也 被 查 出 了 问 


题 。 之 前 ， 她 计划 对 比 祈祷 组 和 非 祈 祷 组 的 死亡 率 ， 然 而 ， 在 为 期 六 
个 月 的 研究 进行 了 一 个 月 后 , “三联 鸡尾酒 疗法 ”( triple-cocktail 
therapy ) 开始 流行 ，40 名 患者 中 只 有 1 人 死亡 ， 这 表明 该 疗法 的 有 效 
性 ， 但 它 也 消除 了 祈祷 组 和 非 祈祷 组 进行 统计 学 对 比 的 可 能 性 。 


于 是 ， 塔 尔格 及 其 同事 弗 雷 德 . 西 歇 尔 转 而 寻找 两 组 之 间 的 其 他 差异 。 

他 们 参考 了 各 种 身体 症状 、 生 活 质 量 测量 、 情 绪 评分 和 CP4+ 指 数 , 

两 组 患者 在 这 些 方面 均 无 差异 。 塔 尔格 的 父亲 曾经 试图 通过 实验 证 明 
人 类 拥有 可 感知 看 不 见 的 物体 、 读 心 和 仅 靠 意念 移动 物体 的 超自然 能 
力 。 他 要 女儿 塔 尔格 继续 寻找 ， 只 要 怀 有 信念 ， 相 反 的 证 据 就 无 足 轻 
重 ， 只 要 继续 在 数据 中 搜寻 支持 自己 信念 的 证 据 即 可 。 最 终 ， 塔 尔格 
找到 了 一 一 住院 时 长 和 医生 探访 ， 尽管 医 疗 保险 肯定 会 使 问题 雪上 加 
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随后 ， 塔 尔格 和 西 歇 尔 读 到 了 一 篇 列举 了 23 种 与 艾滋 病 相 关 的 疾病 的 
文章 。 他 们 或 许可 以 寻找 两 组 实验 对 象 在 这 23 种 疾病 上 的 差异 。 不 幸 
的 是 ， 由 于 采取 “ 双 盲 ”安排 ， 这 些 疾病 的 数据 均 未 被 记录 。 塔 尔格 和 
西 软 尔 坚 持 不 懈 地 仔细 研读 受 试 对 象 的 医疗 记录 ， 即 便 他 们 现在 已 经 
知道 每 名 患者 的 分 组 情况 。 完 成 研读 后 ， 他 们 报告 称 祈祷 组 在 某 些 疾 
病 方 面 比 非 祈 祷 组 的 境况 更 好 。 这 种 积极 主动 的 数据 挖掘 似乎 没有 利 
用 数据 挖掘 软件 就 完成 了 。 


他 们 发 表 的 论文 显示 ， 该 项 研究 是 为 调查 具有 统计 学 意义 的 几 种 疾病 
而 设计 的 ( 即 得 州 神枪手 谬误 1 ) ， 他 们 做 过 的 其 他 测试 都 未 公布 ， 
也 没有 说 明 最 终 数据 是 在 研究 结束 后 搜集 到 的 ， 而 且 “ 双 盲 ?控制 也 被 
撤销 了 。 他 们 得 到 了 想 要 的 结果 ， 或 许 是 因为 他 们 的 坚持 ， 或 许 是 因 
为 数据 不 再 是 双 盲 状态 。 


塔 尔格 的 美国 国家 卫生 研究 所 的 研究 在 她 去 世 后 仍 在 继续 。 祈 祷 组 和 
非 祈 祷 组 在 死亡 率 、 患 病 或 症状 方面 都 未 发 现 有 意义 的 差异 。 另 一 项 
规模 更 大 的 研究 由 哈佛 医学 院 的 研究 人 员 执 行 ， 观 察 了 1 800 名 处 于 
冠状 动脉 搭桥 术 后 康复 期 的 患者 ， 还 是 没有 在 祈祷 组 和 非 祈 祷 组 的 患 
者 间 发 现 明 显 差异 。 


癌症 群 


20 世 纪 70 年 代 ， 流行 病 学 家 南 希 : 韦 特 海 默 和 物理 学 家 埃 德 . 利 珀 驾 

穿 过 科罗拉多 州 丹 佛 市 去 考察 一 些 人 的 住所 ， REARS EAS 
患 癌症 离开 了 人 世 。 他 们 试图 发 现 这 些 人 住所 的 共同 特征 。 两 人 注意 
到 ， 很 多 坎 患 癌症 的 人 都 住 在 大 功率 电力 线 附 近 ， 因 此 得 出 结论 : 暴 


露 于 电力 线 的 电磁 场 中 会 导致 稚 患 癌症 。 


记者 保罗 : 布 罗 德 为 《纽约 客 》 写 了 三 篇 文章 ， 报 道 了 关于 电力 线 和 癌 
症 相关 系数 的 其 他 奇闻 逸事。 他 还 做 出 了 不 详 警告 :“ 数 以 干 计 没有 
戒备 的 儿童 和 成 人 会 钼 患 癌症 ， 其 中 很 多 人 都 会 英 年 早 逝 ， 他 们 本 不 
该 遭 此 厄运 ， 一 切 只 因 他 们 暴露 在 电力 线 的 电磁 场 中 。” 


这 种 言论 随 之 在 全 国 造 成 又 动 ， 为 咨询 专家 、 研 究 人 员 、 人 律师 和 包括 
高 斯 计 ( 测量 磁感应 强度 的 仪器 ) 在 内 的 各 种 装置 提供 了 有 利 可 图 的 
机 会 ， 人 们 可 以 用 高 斯 计 在 家 测量 电磁 场 的 强度 (电磁 场 读 数 高 的 房 
间 会 被 封 住 ， 只 用 作 储 物 间 ) 。 幸 运 的 是 ， 政 府 并 没有 扯 掉 整个 国家 
的 电力 线 。 


此 次 恐慌 事件 的 问题 在 于 ， 即 使 癌症 患者 在 人 口中 只 是 随机 分 布 的 ， 
数据 挖掘 都 更 有 可 能 发 现 受害 者 在 地 理 上 集中 的 地 方 。 为 了 说 明 这 一 
点 ， 我 虚构 出 一 个 有 1 万 名 居民 的 城市 ， 其 住所 均匀 分 布 于 整 座 城 

市 ， 每 个 人 患 癌 的 概率 都 是 1% (我 忽略 了 家 人 一 起 居住 的 情况 和 年 

龄 因素 ) 。 然 后 ， 我 使 用 计算 机 随机 数字 生成 器 来 决定 谁 是 这 座 虚 构 
城市 中 的 癌症 患者 。 据 此 得 出 的 癌症 患者 分 布 如 图 9.1 所 示 。 每 个 小 

黑 点 代表 住 着 一 名 癌症 患者 的 一 户 人 家 ， 而 白色 区 域 即 无 癌症 患者 居 
住 。 


癌症 集群 
_. 。 无 人 患 癌 区 域 
P ‘ wa 


29.1 癌症 患者 分 布 图 


随便 一 个 像样 的 数据 挖掘 软件 都 能 轻易 发 现 ， 图 9.1 的 底部 明显 有 一 
处 癌症 患者 集中 地 。 如 果 这 座 城市 真实 存在 ， 我 们 就 可 以 驾车 到 患者 
住所 附近 ， 肯定 能 得 到 一 些 特别 发 现 。 或 者 使 用 数据 挖掘 软件 搜 遍 数 


据 ， 和 寻找 异常 状况 。 如 果 我 们 再 将 住 在 球场 附近 的 居民 患 癌 率 与 住所 
远离 球场 的 居民 患 癌 率 相 比 ， 猜 猪 结果 如 何 ? 球场 附近 的 患 癌 率 更 
高 ， 这 表明 住 在 球场 附近 可 致癌 。 


图 9.1 还 显示 了 癌症 堡垒 ， 即 无 人 患 癌 的 区 域 。 利 用 数据 挖掘 软件 或 

加 车 到 附近 瞧 一 瞧 ， 一 定 会 得 到 一 些 天 于 这 个 无 人 患 瘤 区 域 的 特殊 发 
现 。 可 能 该 地 附近 建 有 水 塔 。 如 果 我 们 再 将 住 在 水 塔 附近 的 居民 患 癌 
率 与 住所 远离 水 塔 的 居民 患 癌 率 相 比 ， 一 定 能 发 现 水 塔 附近 的 患 癌 率 
更 低 。 这 就 是 我 们 选择 这 个 区 域 的 原因 一 一 这 里 没 人 患 癌 。 


无 论 是 在 球场 还 是 水 塔 附近 ， 都 存在 同样 的 问题 一 一 得 州 神枪手 请 误 
2。 如果 我 们 使 用 数据 来 创造 理论 ( 小 联盟 球场 会 致癌 ， 水 塔 可 防 
fe) ， 数 据 当然 会 支持 理论 了 ! 怎么 会 有 相反 结果 呢 ? 我 们 会 捏造 出 
与 数据 不 吻合 的 理论 吗 ? 


用 来 创建 理论 的 数据 肯定 不 适 于 再 来 检验 该 理论 。 我 们 需要 全 新 的 数 
据 。 其 他 国家 的 研究 没有 发 现 电 磁场 和 癌症 之 间 存 在 关联 。 AAA 
物 为 对 象 的 实验 研究 发 现 ， 比 电力 线 所 产生 的 更 强 的 电磁 场 对 死亡 

率 、 患 癌 率 、 免 疫 系 统 、 生 育 率 或 出 生 缺 陷 率 都 没有 影响 。 


对 电力 线 的 恐慌 有 什么 理论 基础 吗 ? 科学 家 非常 了 解 电 磁场 ， 并 没有 
任何 合理 理论 能 证 明 电 力 线 的 电磁 场 会 致癌 。 电 力 线 的 电磁 能 量 远 比 
月 光 的 电磁 能 量 弱 得 多 ， 其 电磁 场 也 比 地 球 的 磁场 更 弱 。 


权衡 理论 论证 和 实验 结果 后 ， 美 国 国家 科学 院 得 出 的 结论 是 : 电力 线 
并 没有 造成 公共 健康 危险 ， 无 须 提 供 经 费 开展 进一步 研究 ， 更 别 说 撤 
掉 电力 线 了 。 全 美 顶尖 医学 期 刊 也 发 声 力 挺 ， 同 意 不 应 再 把 研究 资源 
浪费 在 这 个 问题 上 。 


1999 年 ，《 纽 约 客 》 发 表 了 一 篇 题 为 “癌症 集群 之 谎言 ”( The 
Cancer-Cluster Myth ) 的 文章 ， 含 蓄 地 驶 斥 保罗 - 布 罗 德 早先 的 报道 。 
尽管 如 此 ， 癌 症 集群 具有 意义 的 想法 还 是 继续 存在 。 互 联网 上 ， 由 政 
府 赞助 的 交互 式 地 图 可 按 地 理 区 域 显示 各 种 癌症 的 发 病 率 ， 精 细 到 人 
口 普查 的 街区 。 每 年 都 需要 花费 数 百 万 美元 来 维护 地 图 数据 ， 虽 然 数 
据 是 最 新 的 ， 但 很 可 能 具有 误导 性 。 其 中 一 个 交互 式 网 站 拥有 22 种 癌 
症 、2 种 性 别 、4 个 年 龄 段 组 别 、5 个 种 族 和 3 000 多 个 县 的 癌症 死亡 率 
数据 。 从 数 百 万 种 可 能 的 相关 系数 中 ， 数 据 挖掘 软件 一 定 可 以 轻易 发 
现 令 人 恐惧 的 相关 系数 。 


为 了 缓解 这 种 恐惧 ， 美 国 疾病 控制 与 预防 中 心 创建 了 网 页 平台 ， 任 何 
人 都 可 以 在 此 报告 自己 发 现 的 癌症 集群 。 即 使 该 中 心 提醒 :“ 我 们 会 


对 此 进行 后 续 调 查 ， 但 需要 人 花费 多 年 时 间 才 能 完成 ， 结 果 通 常 也 不 能 
得 出 定论 ( 也 就 是 说 ， 通 常 都 无 法 找到 原因 ) 。” 每 年 仍 有 1 000 多 例 
癌症 集群 被 举报 和 调查 。 


最 有 理 有 据 的 疗法 失效 了 


大 量 已 发 表 的 医学 研究 都 会 犯 那 两 个 得 州 神枪手 廖 误 : 数据 的 随机 变 
化 只 在 人 们 忽略 以 下 情况 时 有 意义 ， 即 这 些 侥幸 发 现 都 是 靠 测试 大 量 
理论 ， 或 创造 理论 来 匹配 数据 中 的 偶然 模型 才能 得 到 ， 报 告 的 结果 随 
后 便 消失 得 无 踪 无 影 。 这 种 模型 在 医学 研究 中 太 常 见 了 ， 以 至 于 还 有 
专门 的 叫 法 递减 效应 ( decline effect ) 。 


有 些 研究 人 员 条 眼见 过 自己 的 研究 出 现 递 减 效 应 ， 他 们 都 迷惑 不 解 ， 
因此 开始 白费 力气 地 寻求 解释 ， 尽 管 原因 就 近 在 眼前 。 如 果 最 初 的 正 
相关 发 现 皆 因 得 州 神 枪手 请 误 ， 那 么 随后 的 结果 通常 都 令 人 失望 也 就 
不 足 为 奇 了 。 这 就 好 比 基 于 偏远 城市 气温 进行 总 统 大 选 预测 那样 。 


看 似 有 效 的 无 价值 疗法 只 是 假 阳 性 结果 。 另 外 还 有 假 阴性 结果 ， 即 有 
效 疗 法 并 未 显示 出 统计 学 意义 。 仔 细 想 想 ， 一 个 测试 有 5% 的 机 会 呈 
假 阳性 ， 就 意味 着 一 项 经 受 严格 测试 的 无 效 疗法 ， 其 实验 组 和 控制 组 
之 间 出 现 统计 学 差异 的 机 会 为 5%。 假设 假 阴 性 的 概率 为 10%， 就 表 
示 有 效 疗 法 在 测试 顺利 的 情况 下 ， 无 法 显示 出 统计 学 意义 的 概率 为 
10%, 


如 果 假 阳性 的 概率 为 5%， 假 阴性 的 为 10%， 似 乎 我 们 每 次 都 应 该 能 
分 辨 出 有 效 和 无 效 疗 法 之 间 的 区 别 。 实 则 不 然 。 那 要 看 有 多 少 受 试 疗 
法 有 效 ， 有 多 少 无 效 。 若 所 有 受 试 疗法 中 ，1% 为 有 效 ，99% 为 无 
效 ， 则 结果 如 表 9.1 所 示 。 


表 9.1 所 有 经 验证 的 疗法 中 ， 有 85% 为 无 效 


有 统计 学 意义 无 统计 学 意义 总 计 

有 效 疗法 | 90 | 10 100 
无 效 疗法 495 | 9 405 9 900 
总 it | 585 | 9915 | 10 000 


测试 10 000 种 疗法 ， 其 中 100 种 有 效 。 这 100 种 有 效 疗 法 中 ，90 种 会 
呈现 具有 统计 学 意义 的 结果 ; 而 另外 9 900 种 无 效 疗法 中 ， 会 有 495 种 


呈现 具有 统计 学 意义 的 假 阳 性 结果 。 因 此 ， 共 计 585 种 测试 具有 统计 
学 意义 ， 但 其 中 只 有 90 种 为 真正 有 效 的 疗法 ， 有 85%“ 经 验证 ”有 效 的 
疗法 实际 上 毫 无 价值 ， 这 让 人 难以 置信 。 


这 一 矛盾 反映 出 有 关 逆 概率 的 常见 困惑 。 超 级 联赛 的 所 有 运动 员 都 是 
男性 ， 但 所 有 男性 中 ， 只 有 很 小 一 部 分 人 为 超级 联赛 的 运动 员 。 同 
理 ， 所 有 有 效 疗法 中 ，90% 都 具有 统计 学 意义 ， 但 所 有 具有 统计 学 意 
义 的 疗法 中 ， 只 有 15% 有 效 。 


任职 于 希腊 约 阿 尼 纳 大 学 、 马 萨 诸 塞 州 塔 夫 茨 大 学 医学 院 和 加 州 斯 坦 
福 大 学 医学 院 的 约翰 : 约 安 尼 季 斯 以 此 类 运算 为 依据 ， 发 表 了 一 篇 

以 “为 何 大 多 数 已 发 表 的 研究 成 果 都 有 误 ”( Why Most Published 
Research Findings Are False ) 为 题 的 引起 争议 的 文章 。 


约 安 尼 季 斯 在 整个 职业 生涯 中 都 在 提醒 医生 和 普通 民众 ， 不 要 轻易 相 
信 复 制 结果 无 法 令 人 信服 的 医学 测试 。 他 那 篇 题目 惊人 的 著名 文章 就 
采用 了 我 们 上 述 的 数学 算法 ， 他 的 假设 观点 比 我 们 的 更 加 令 人 确信 , 
而 概率 的 表现 也 更 加 糟糕。 


除了 这 些 理论 性 计算 ， 约 安 尼 季 斯 还 汇编 列举 了 在 现实 世界 中 “经 验 
证 ”的 疗法 最 后 无 效 的 例子 。 他 在 一 项 研究 中 检查 了 45 个 发 表 于 1990 
一 2003 年 且 广 受 赞誉 的 医学 研究 成 果 ， 其 中 仅 有 34 个 能 使 用 更 大 样 
本 对 原始 结果 进行 复制 ， 这 其 中 又 只 有 20 个 ( 即 59% ) 证 实 了 最 初 的 
结果 ，7 个 所 述 疗 法 的 疗效 比 最 初 推算 的 小 得 多 ， 剩 下 那 7 个 疗法 则 根 
本 一 点 效果 都 没有 。 总 的 来 说 ，45 项 研究 中 仅 20 项 可 经 证 实 ， 这 些 可 
都 是 最 享誉 盛名 的 研究 啊 ! 对 于 发 表 在 级 别 较 低 的 期 刊 的 数 干 篇 研究 
来 说 ， 情 况 肯 定 更 糟糕 。 约 安 尼 季 斯 粗略 估算 ，90% 已 发 表 的 医学 研 
究 成 果 均 有 漏洞 ， 其 宣称 有 效 的 疗法 被 硅 大 了 效果 ， 有 的 疗法 则 毫 无 
WR , BRE. 


疾病 诊断 和 治疗 中 的 数据 挖掘 


传统 的 统计 学 测试 假定 研究 人 员 会 以 定义 好 的 理论 为 起 始 ， 然 后 收集 
合适 的 数据 来 验证 他 们 的 理论 。 数 据 挖掘 则 另辟蹊径 一 一 数据 为 先 ， 
理论 在 后 。 因 此 ， 可 以 随意 检测 所 有 你 想 要 检测 的 理论 ， 无 论 这 些 理 
论 是 否 合理 。 

如 果 医 学 疗法 没有 对 整个 样本 显示 出 统计 学 意义 ， 再 看 看 其 是 否 适用 
于 子 集 ; 将 性 别 、 种 族 和 年 龄 分 开 ， 尝试 不 同 的 年 龄 段 ; 如 果 该 疗法 
对 你 最 初 研究 的 疾病 不 起 作用 ， 再 看 看 它 是 否 有 其 他 益处 。 


测试 数 百 种 疗法 便 是 得 州 神 枪手 请 误 1 的 例子 : 瞄准 数 百 个 目标 ， 只 
报告 那些 击 中 的 情况 。 其 他 医学 研究 则 有 天 得 州 神枪手 廖 误 2 : 找到 
一 个 模式 ， 然 后 为 其 编造 解释 。 疾 病 诊 断 或 治疗 都 会 出 现 上 述 情况 。 


首先 讨论 一 下 疾病 诊断 。 假 设 我 们 知道 100 个 患者 患 了 某 种 疾病 ， 不 
知道 另外 100 个 患者 患 了 什么 疾病 ， 然 后 记录 下 每 个 人 的 1 000 种 特 
征 ， 比 如 血液 检测 、 基 因 人 信息、 种族 、 发 色 、 瞳 孔 颜 色 和 住处 等 。 如 
果 我 们 现在 使 用 数据 挖掘 软件 来 彻 查 这 一 数据 库 ， 肯定 会 找到 一 些 特 
征 ， 这 些 特征 在 患 病人 士 中 比 在 健康 人 士 中 更 加 常见 ， 而 且 明 显 能 够 
很 好 地 预测 疾病 。 


例如 ， 我 能 够 获取 87 名 女性 心脏 收缩 血压 读数 的 数据 库 ， 还 有 每 名 患 
者 的 40 种 特征 的 完整 信息 ， 有 些 以 数字 表示 (如 年 龄 ) ， 有 些 按 类 别 
区 分 (如 某 人 是 否 有 吸烟 史 ) 。 


我 使 用 了 数据 挖掘 软件 ， 来 看 看 根据 这 40 种 特征 预测 血压 的 结果 如 
何 。 如 果 我 的 模型 契合 度 高 ， 就 可 以 用 来 识别 其 他 有 高 血压 风险 的 女 
性 。 我 们 还 可 以 识别 出 其 他 高 风险 因素 ( 可 能 是 吸烟 ) 并 建议 血压 值 
高 的 女性 改变 行为 ， 以 降低 血压 。 


该 模型 非常 成 功 ， 实 际 血压 和 预测 血压 的 相关 系数 达到 惊人 的 0.72 , 
即 23 名 受 试 女性 的 预测 心脏 收缩 血压 高 于 130， 符 合 其 中 17 人 的 实际 
情况 。 图 9.2 为 87 名 女性 的 预测 值 和 实际 值 。 


我 们 还 可 以 只 用 病 患 的 5 个 特征 ( 特征 1、12、18、23 和 34 ) 得 到 预 
测 血压 值 和 实际 血压 值 的 相关 系数 为 0.47， 这 一 结果 相当 不 错 。 
此 ， 医 生 会 重点 关注 这 五 个 特征 ， 可 以 预测 ， 甚 至 可 能 控制 血压 升 


[So 


那么 这 五 个 特征 是 什么 ? 随机 数字 。 我 捏造 了 87 名 女性 ， 使 用 87 这 个 
数字 是 为 了 提高 研究 的 真实 性 。 对 于 其 中 20 个 特征 ， 我 使 用 电脑 抛 硬 
币 的 方式 来 赋予 其 1 值 或 0 值 。 同 样 ， 抽 烟 者 被 赋予 1 值 ， 不 抽烟 的 人 

则 被 赋予 0 值 。 对 于 另外 20 个 特征 ， 我 用 电脑 生成 了 正 态 分 布 的 随机 

变量 ， 均 值 为 100， 标准 差 为 10。 虚 假 的 血压 数值 也 是 正 态 分 布 ， 均 

值 为 125， 标 准 差 为 10。 我 捏造 的 每 一 个 女性 及 其 每 一 个 特征 都 与 其 

他 女性 的 捏造 特征 相互 独立 ， 与 该 女性 的 虚假 血压 及 其 另外 39 个 捏造 
特征 也 相互 独立 。 
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图 9.2 心脏 收缩 血压 的 预测 值 和 实际 值 


我 在 这 个 虚假 的 医学 数据 库 中 填 入 随机 数字 来 证 明 我 的 观点 。 即 使 数 
据 库 中 记录 的 特征 与 所 分 析 的 疾病 是 否 存在 没有 任何 关系， 数据 挖掘 
软件 也 会 发 现 具有 统计 学 意义 的 关系 ， 让 人 误 以 为 获得 了 什么 有 用 的 
发 现 。 


疾病 治疗 也 是 如 此 。 假 设 根据 各 种 各 样 的 医疗 状况 对 病 患 施行 尝试 性 
疗法 ， 使 用 数据 挖掘 软件 来 识别 那些 有 所 改善 的 疾病 或 疾病 组 合 。 即 
使 患者 状况 的 波动 完全 随机 ， 与 他 们 是 否 接受 了 治疗 一 点 关系 都 没 
有 “， 还 是 很 有 可 能 存在 具有 统计 学 意义 的 模式 表明 该 疗法 对 某 些 状况 
有 效 。 前 面 说 到 的 远程 治疗 研究 就 是 这 种 廖 误 的 很 好 例证 。 


糟糠 过 多 ， 精 粹 不 足 


很 多 神奇 疗法 ( 如 胰岛 素 和 天 花 疫苗 ) 都 被 医疗 研究 发 现 并 且 证 实 为 
有 效 。 然 而 ， 很 多 已 发 表 的 研究 都 有 缺陷 ， 这 通常 是 因为 那些 数据 都 


是 为 了 发 表 而 搜 刊 得 来 的 。 


对 “ 沃 森 ” 等 医疗 建议 软件 来 说 ， 这 是 无 法 逾越 的 难题 。 它 们 都 非常 擅 
长 收集 、 储 存 和 搜索 医疗 数据 和 期 刊 文 章 ， 这 一 点 肯定 优 于 人 类 。 但 
是 它们 没有 常识 或 智慧 ， 不 知道 数字 和 词语 的 意思 , 无 法 评估 数据 库 
中 内 容 的 相关 性 和 有 效 性 。 它 们 也 无 法 分 辨 好 数据 和 坏 数据 ， 不 能 识 
别 哪些 数据 受到 过 两 种 得 州 神 枪手 诸 误 的 拷问 。 此 外 ， 它 们 还 无 法 区 
分 因果 关系 和 随机 事件 ， 其 数据 挖掘 式 的 “知识 发 现 ?甚至 会 让 这 一 问 
题 难 上 加 难 。 


所 有 医疗 专业 人 士 都 学 过 的 准则 是 : 首先 不 能 造成 伤害 。 有 经 验 的 医 
生 对 医学 研究 总 会 保持 良性 怀疑 态度 ， 对 不 喝 咖 啡 、 依 赖 远程 祈祷 和 
撤 掉 电力 线 都 抱 着 “等 等 看 ”的 态度 。 他 们 了 解 发 表 论文 的 压力 和 道 碱 
效应 ， 对 黑匣子 数据 挖掘 心 存 质疑 。 我 的 私人 医生 对 “依赖 黑匣子 算 
法 开 处 方 或 提供 医疗 方案 ”的 观点 咯 之 以 鼻 。 


医疗 软件 程序 可 以 辅助 医生 ， 但 无 法 取代 医生 。 


File does not exist 


第 11 章 
完胜 股市 (下 ) 


如 今 ， 技 术 分 析 师 都 被 称 为 金融 工程 师 。 我 们 不 仅 过 
度 欣 赏 计算 机 的 能 力 ， 也 过 于 钦佩 使 用 计算 机 而 不 使 
用 笔 和 图 表 的 金融 工程 师 。 


金融 工程 师 不 思考 他 们 发 现 的 模型 是 否 合 理 。 他 们 的 准则 是 :“ 给 我 
看 数据 就 行 。 ”其实 ， 虽然 很 多 金融 工程 师 是 物理 学 或 数学 博士 ， 但 
其 对 经 济 学 和 金融 学 的 了 解 过 于 肤浅 。 不 过 ， 这 并 没有 对 他 们 造成 困 
扰 ， 要 说 有 什么 影响 的 话 ， 那 就 是 无 知 的 他 们 更 有 勇气 从 最 不 可 能 的 
地 方 寻找 模型 。 


从 使 用 铅笔 的 技术 分 析 师 转 到 使 用 计算 机 的 金融 工程 师 ， 对 此 符合 逻 
辑 的 结论 是 要 将 人 类 彻底 排除 在 外 ， 数 据 分 析 的 工作 交 给 计算 机 做 就 
行 了 。 


2011 年 ， 精 彩 的 科技 杂志 《 连 线 》 发 表 了 一 篇 文章 ， 全 文 充斥 着 对 计 
算 机 化 股票 交易 系统 的 敬畏 和 钦佩 之 情 。 这 些 黑匣子 式 系 统 被 称 

为 “算法 交易 者 ” (algorithmic traders ) 由 计算 机 根据 算法 来 决 
定 股票 买卖 ， 而 不 是 人 的 判断 。 人 类 编写 算法 指导 计算 机 ， 但 在 这 之 
后 ， 全 靠 计算 机 自己 运行 了 。 


有 些 人 被 距 住 了 。2016 年 ， 佩 珀 代 因 大 学 将 其 投资 组 合 的 10% 投 给 了 
金融 工程 师 基金 ， 其 投资 总 监 表 示 :“ 寻 找 具 有 良好 前 景 的 公司 合 情 
合理 ， 因 为 我 们 在 日 常生 活 中 都 会 寻找 被 低估 的 事物 ， 但 是 金融 工程 
师 策略 与 我 们 的 生活 毫 不 相干 。” 他 认为 ， 没 有 从 生活 中 获得 的 智慧 
和 常识 ， 是 支持 使 用 计算 机 的 论据 所 在 。 和 他 观点 一 致 的 大 有 人 在 。 
如 今 ， 美 国 股票 交易 的 近 1/3 是 依靠 黑匣子 式 的 投资 算法 完成 的 。 


这 些 系统 有 的 追踪 股价 走势 ， 有 的 观察 经 济 数据 和 非 经 济 数据 、 剖 析 
新 闻 线索 。 它 们 全 都 在 寻找 模型 。 一 个 动量 算法 或 许 会 注意 到 ， 当 某 
只 股票 的 交易 价格 连续 五 天 较 高 时 ， 其 第 六 天 的 股价 通常 也 会 更 高 ; 
一 个 均值 回归 算法 或 许 会 注意 到 ， 当 某 只 股票 的 交易 价格 连续 八 天 较 
高 时 ， 则 其 第 九天 的 交易 价格 通常 会 下 降 ; 一 个 配对 交易 算法 或 许 会 
注意 到 ， 两 只 股票 通常 会 同 涨 同 跌 ， 当 其 中 一 只 上 涨 而 另 一 只 没 上 涨 
时 就 是 在 提示 机 会 来 了 。 其 他 算法 还 使 用 了 多 元 回归 模型 。 在 每 一 种 
情况 下 ， 算 法 都 是 基于 数据 挖掘 运行 的 ， 其 格言 是 : 如 果 它 行 得 通 ， 


那 就 好 好 利用 。 


我 自己 会 投资 ， 也 在 教授 投资 学 ， 因 此 我 决定 自己 尝试 一 下 数据 挖 
掘 ， 看 看 能 否 找 出 预测 股价 的 可 靠 指标 。 运 气 好 的 话 ， 我 的 数据 挖掘 
或 许 能 收获 “知识 发 现 ”， 我 可 以 靠 此 赚 上 一 笔 。 

股市 与 天 气 

据 报道 ， 纽 约 市 的 天 和 气 会 影响 美国 股市 ， 虽 然 其 影响 随 着 时 间 的 推移 
已 经 减弱 ， 因 为 全 美 乃 至 全 世界 的 股票 交易 已 经 从 大 厅 交 易 演变 为 电 
子 下 单 。 

海 蒂 . 阿 蒂 格 搜集 了 25 座 城市 每 日 的 最 高 气温 和 最 低 气 温 数 据 ， 这 鼓动 
我 想 看 看 能 否 找到 其 些 气温 ， 用 来 解释 标准 普尔 500 指 数 每 日 股价 的 
波动 情况 。 

我 最 初 以 为 每 日 气温 在 预测 股价 上 有 局 限 性 ， 因 为 气温 随 季 节 变 化 而 
股价 不 是 。 此 外 ， 股 价 具 有 明显 的 上 涨 趋势 但 气温 没有 ( 至少 短 短 几 
年 内 不 会 ) 。 尽 管 如 此 ， 没 费 多 少 工夫 ， 我 还 是 用 数据 挖掘 找到 了 五 
个 气温 ， 很 好 地 预测 了 2015 年 的 股价 。 

那 25 座 城市 的 最 高 气温 和 最 低 气温 为 我 提供 了 50 个 可 能 的 解释 变量 ， 
以 它们 为 基础 ， 我 可 以 获得 : 50 个 含有 一 个 解释 变量 的 模型 ; 1 225 
个 含有 两 个 解释 变量 的 模型 ; 19 600 个 含有 三 个 解释 变量 的 模型 ; 
230 300 个 含有 四 个 解释 变量 的 模型 ; 2 118 760 个 含有 五 个 解释 变量 
的 模型 。 试 图 做 一 名 非常 投入 的 数据 挖掘 者 ， 我 将 所 有 解释 变量 都 推 
算出 来 了 ， 总 共 是 2 369 935 个 模型 。 

得 到 的 很 多 模型 都 不 错 ， 但 最 好 的 如 下 : 


Y = 2361.65-3.00C + 2.08M-1.85A + 1.98L-3.06R 


C = 澳大利亚 科 廷 市 ， 最 高 气温 
M = 华盛顿 州 奥 玛 克 市 ， 最 低 气温 
A = 蒙 大 拿 州 羚羊 谷 ， 最 高 气温 


L= 蒙 大 拿 州 林肯 市 ， 最 低 气温 


R = 怀俄明 州 石泉 镇 ， 最 低 气温 
巧合 的 是 ， 在 第 4 章 讨 论 过 的 科 廷 市 和 奥 玛 克 市 再 次 出 现 ， 不 过 这 次 
最 高 气温 和 最 低 气 温 互 换 了 。 


如 图 11.1 所 示 ， 尽 管 2015 年 下 半年 股市 下 跌 ， 含 有 5 个 温度 的 模型 与 
股价 波动 的 吻合 度 很 高 。 该 模型 的 准确 率 为 60% ， 对 于 预测 变幻 莫 测 
的 对 象 (如 股价 ) 来 说 ， 已 经 算是 相当 可 以 了 。 


这 对 “知识 发 现 ?来 说 又 算是 怎么 一 回 事 呢 ? 有 谁 知道 这 5 个 小 城镇 的 
每 日 最 高 和 最 低 气 温 能 有 助 于 预测 股价 呢 ? 
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图 11.1 与 股价 相关 的 “知识 发 现 ” 


答案 当然 是 它们 对 预测 股价 没有 帮助 。 找 不 到 合理 的 理由 能 说 明 标 准 
普尔 500 指 数 与 这 5 个 城镇 的 最 高 气温 和 最 低 气 温存 在 正 相 关 或 负 相 关 
关系 ， 其 中 还 有 一 个 城市 远 在 澳大利亚 。 我 们 能 生 编 硬 造 出 不 切实 际 
的 说 法 ， 解 释 为 什么 每 日 股价 取决 于 这 些 城市 的 消费 状况 ， 而 消费 状 
况 又 如 何 取决 于 这 些 城市 的 天 气 ， 但 这 也 不 过 是 信和 口 肉 黄 而 已 。 


先 用 2015 年 的 数据 推算 出 200 多 万 个 方程 式 ， 再 从 中 挑 出 准确 率 最 高 
的 那 一 个 ， 这 就 是 上 述 模型 的 选择 过 程 。 由 于 模型 建立 在 数据 而 非 逻 


辑 之 上 ， 因 此 我 们 不 要 指望 它 能 较 好 地 预测 2016 年 的 股价 。 如 图 11.2 
所 示 ，2016 年 的 预测 准确 率 为 -23%。 没 错 ， 结 果 是 个 负 值 。 当 该 模 
型 预测 股价 将 上 涨 或 下 跌 时 ， 很 可 能 出 现 相反 的 情况 。 
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图 11.2 2016 一 2017 年 的 预测 结果 和 实际 结 
不 断 尝 试 


我 对 自己 的 气温 模型 感到 失望 ， 于 是 考虑 用 100 个 新 的 变量 ， 尝 试 从 
1~5 个 解释 变量 的 所 有 可 能 组 合 。 现 在 ， 模 型 数量 已 接近 8 0007, 
但 是 对 我 的 数据 挖掘 软件 来 说 ， 这 个 数目 还 是 小 到 它 能 尝试 每 一 种 可 
能 性 ， 而 无 须 求 助 主 成 分 分 析 、 因 子 分 析 、 逐 步 回归 法 或 其 他 有 缺陷 
的 数据 规约 步骤 。 


推算 这 些 模型 花费 了 数 小 时 ， 所 以 我 就 止步 于 5 个 解释 变量 了 。 如 果 
我 继续 推算 ， 利 用 10 个 解释 变量 会 得 到 超过 17 万 亿 个 可 能 组 合 ， 那 样 
的 话 ， 计 算 机 就 得 花费 好 几 天 来 跑 数据 。 幸 运 的 是 ， 有 几 个 5 变量 组 
合 预测 的 股价 与 实际 股价 非常 接近 。 最 好 的 模型 如 图 11.3 所 示 ， 准 确 
率 高 达 88%， 拟 合 数值 与 实际 数值 非常 接近 ， 实 际 上 很 难 将 其 区 分 开 
来 。 
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211.3 我 的 5 变量 股价 模型 
我 可 能 已 经 揭 开 了 股票 预测 的 未 解 之 谜 。 你 做 好 投资 的 准备 了 吗 ? 


我 是 在 2017 年 4 月 利用 2015 年 的 每 日 数据 进行 这 次 数据 挖掘 探秘 的 。 
对 于 含有 5 个 气温 变量 的 模型 ， 我 特意 预 留 了 2016 年 的 每 日 数据 ， 目 
的 是 验证 我 的 “知识 发 现 ”。 如 图 11.4 所 示 ,该 模型 对 2015 年 的 预测 结 
果 喜 人 ， 但 对 2016 年 的 预测 结果 则 一 塌 糊 涂 ， 它 预测 股价 会 
际 是 暴涨 。 具 体 来 说 ， 该 模型 对 于 2015 年 预测 的 准确 率 为 88% , 

2016 年 的 准确 率 为 -52%。 ap E a a 
普尔 500 指 数 的 实际 表现 存在 强 负 相 关 关 系 ， 我 的 模型 比 毫 无 价值 更 
精 。 


[image] 
211.4 使 用 全 新 数据 后 的 5 变量 模型 


这 是 怎么 回 事 ? 在 某 年 预测 效果 很 好 的 模型 ， 怎 么 在 下 一 年 的 预测 结 

果 会 如 此 不 尽 如 人 意 ? 这 就 是 数据 挖 握 的 本 质 。 选 择 某 个 模型 ， 只 是 
因为 它 与 所 给 的 数据 集 吻 合 度 高 ， 这 就 造成 这 个 模型 与 全 新 数据 的 吻 
合 度 达 不 到 同样 的 水 平 。 若 要 在 处 理 全 新 数据 时 依然 有 效 ， 就 必须 采 


用 合理 的 模型 。 不 过 ， 数 据 挖掘 软件 无 法 判断 一 个 模型 是 否 合理 。 


我 通过 本 质 上 是 对 随机 数据 ( 如 澳大利亚 科 廷 市 的 最 高 气温 ) 进行 的 
数据 挖掘 ， 想 说 服 你 相信 这 样 一 个 事实 : 它们 根本 不 会 影响 标准 普尔 
500 指 数 。 我 们 通过 逻辑 推理 进一步 得 出 结论 ， 图 11.3 和 图 11.4 所 示 
的 模型 ， 不 是 实质 上 为 随机 的 ， 而 是 完全 随机 的 模型 。 标 准 普尔 500 
指数 是 真实 数据 ， 但 那 100 个 可 能 的 解释 变量 是 我 用 计算 机 随机 数字 
生成 器 生成 的 。 


还 记得 我 曾 让 学 生 用 抛 硬币 的 方式 得 出 虚假 的 股价 数据 吗 ? 每 只 股票 
的 起 价 均 为 50 美 元 ， 然 后 将 25 次 抛 硬币 的 结果 作为 当天 股价 变化 的 依 
据 ， 抛 出 正面 则 股价 上 涨 50 美 分 ， 抛 出 反面 则 股价 下 跌 50 美 分 。 我 在 
课堂 上 做 这 样 的 抛 硬币 实验 是 想 要 学 生 杀 眼看 看 ， 明 显 为 随机 产生 的 
数据 是 如 何 产生 了 看 似 非 随机 的 模式 的 。 


这 次 的 做 法 也 一 样 ， 不 过 换 成 了 使 用 计算 机 的 随机 数字 生成 器 。 我 将 
每 个 变量 的 初始 值 设 为 50， 然 后 让 电脑 抛 硬币 来 决定 变量 每 天 的 变化 
值 。 若 电脑 抛 硬币 的 结果 为 正面 ， 则 数值 上 升 0.50 ; 若 为 反面 则 数值 
下 降 0.50。 我 用 计算 机 为 每 个 变量 的 每 日 变化 好 了 25 次 硬币 ， 以 便 得 
到 100 个 虚构 变量 在 这 两 年 内 的 每 日 数值 ， 将 前 半 部 分 的 随机 数据 标 
记 为 2015 年 ， 后 半 部 分 标记 为 2016 年 。 


即使 100 个 变量 都 是 由 随机 游 走 过 程 产生 的 ， 在 事实 发 生 后 ， 还 是 会 

存在 有 些 变量 的 确 与 标准 普尔 500 指 数 存在 偶然 的 相关 系数 。 在 五 变 

量 的 所 有 可 能 性 中 ， 随 机 变量 4、34、44、64 和 90 的 组 合 与 2015 年 标 
准 普尔 500 指 数 的 相关 度 最 高 。 但 到 了 2016 年 ， 该 模型 就 完全 行 不 通 
了 ， 因 为 这 些 都 是 实 实在 在 的 随机 变量 。 


黑匣子 式 数 据 挖掘 无 法 预测 这 种 巨大 的 落差 ， 因 为 它 不 能 评估 自己 发 
现 的 模型 是 否 具有 逻辑 基础 。 


预 留 方案 


现在 ， 可 能 有 人 会 说 ， BANZARE 2016 UNE RATÉ Et 
可 以 看 出 标准 普尔 500 指 数 和 我 的 随机 变量 之 间 不 存在 任何 真正 的 关 

系 ， 那 么 我 们 就 可 以 利用 样本 外 测试 来 区 别 偶然 的 相关 系数 和 真正 的 
因果 关系 。 挖 所 部 分 数据 ， 和 寻找“ 知识 发 现 ”, 然后 通过 有 目的 的 暂时 
预 留 的 数据 来 测试 所 发 现 的 模型 以 验证 结果 。 原 始 数 据 有 时 被 称 

作 ”“ 训 练 数据 ”， 预 留 数 据 被 称 作 “检验 数据 ?或 “验证 数据 ”。 另 一 种 叫 

法 为 样本 内 数据 (用 以 发 现 模型 的 数据 ) 和 样本 外 数据 ( 用 以 验证 模 


型 的 全 新 数据 ) 。 在 利用 气温 和 随机 变量 预测 标准 普尔 500 指 数 的 例 
子 中 ， 模 型 是 用 2015 年 的 数据 推算 得 出 ， 用 2016 年 的 数据 进行 验证 
的 。 预 留 出 2016 年 的 数据 ， 正 是 为 了 这 一 目的 。 


不 断 询 问 模型 是 否 运 用 全 新 数据 验证 过 是 一 个 很 好 的 想法 。 大 肆 搜 集 
数据 以 发 现 模型 ， 再 用 相同 的 数据 来 验证 模型 的 做 法 绝对 没有 说 服 
力 ， 这 些 数据 都 是 为 了 找到 模型 而 被 掠夺 来 的 。 因 此 ， 预 留 验证 数据 
来 检验 无 中 生 有 、 生 编 硬 造 来 的 模型 肯定 不 失 为 好 方法 。 


然而 ， 不 知 疲倦 的 数据 挖掘 可 以 确保 某 些 模型 与 训练 数据 和 检验 数据 
的 吻合 度 都 很 高 ， 即 便 该 模型 根本 不 合理 。 正 如 有 的 模型 肯定 与 原始 
数据 吻合 ， 有 的 仅仅 是 运气 好 ， 也 能 与 预 留 数 据 吻 合 。 发 现 同 时 符合 
原始 数据 和 预 留 数 据 的 模型 ， 只 不 过 是 另 一 种 数据 挖掘 形式 。 我 们 要 
找 的 不 是 符合 半数 数据 的 模型 ， 而 是 符合 所 有 数据 的 模型 。 为 了 符合 
数据 而 挑选 的 模型 ， 无 论 是 符合 半数 还 是 所 有 数据 ， 都 不 能 指望 它 与 
其 他 数据 的 吻合 度 一 样 高 。 这 么 做 解决 不 了 问题 。 


为 了 说 明 这 一 点 ， 接 下 来 看 看 我 为 了 解释 标准 普尔 500 指 数 的 波动 而 
创造 出 的 100 个 随机 变量 。 共 有 100 个 含有 一 个 变量 的 模型 : 随机 变 
量 1、 随 机 变量 2..…… 对 于 每 一 个 变量 ， 我 都 利用 2015 年 的 每 日 数 
据 ， 来 推算 出 吻合 度 最 高 的 模型 。 以 随机 变量 1 为 例 : 


Y = 2113.62 - 0.5489R1 


该 模型 的 准确 率 ( 标准 普尔 500 指 数 的 预测 值 和 实际 值 之 间 的 相关 系 
数 ) 为 28%。 但 我 用 此 模型 预测 2016 年 的 标准 普尔 500 指 数 时 ， 其 准 
确 率 竞 为 -89%。 该 模型 预测 标准 普尔 指数 会 上 涨 ， 但 实际 上 该 指数 下 
跌 了 ， 反 之 亦 然 


我 把 100 个 可 能 的 解释 变量 统统 用 上 ， 反 复 尝试 ， 让 模型 与 2015 年 的 
数据 吻合 ， 再 用 2016 年 的 数据 验证 ， 结 果 如 图 11.5 所 示 。 对 于 2015 
年 的 数据 ， 由 于 它们 被 用 以 推算 模型 ， 所 以 准确 率 不 可 能 小 于 0 , 
为 该 模型 总 能 完全 忽略 解释 变量 ， 从 而 得 到 准确 率 为 0。 结 果 显 示 , 
使 用 样本 内 数据 且 含 有 1 个 变量 的 模型 的 平均 准确 率 为 27%。 


对 于 预 留 下 来 用 以 验证 模型 的 2016 年 的 数据 ， 其 准确 率 为 正 值 和 负 值 
的 可 能 性 相等 ， 因 为 毕竟 它们 是 与 股价 毫 无 关系 的 随机 变量 。 我 们 预 
计 ， 股 价 和 任何 随机 变量 之 间 的 平均 相关 系数 均 约 为 0。 对 上 述 特定 
数据 来 说 ， 样 本 外 数据 的 平均 准确 率 碰 巧 为 -4%。 


尽管 如 此 ， 样 本 外 数据 的 人 准确 率 还 是 会 碰巧 与 某 些 模型 存在 强 正 相 天 


系数 ， 与 其 他 模型 存在 强 负 相关 系数 。 如 图 11.5 右 上 角 所 示 ， 有 几 个 
模型 的 2015 年 样本 内 数据 和 2016 年 样本 外 数据 的 准确 率 都 很 高 。 具 
体 来 说 ， 有 11 个 使 用 2015 年 拟 合 数据 的 模型 相关 系数 高 于 0.5， 其 中 5 
个 在 使 用 预 留 数据 时 的 相关 系数 高 于 0.5。 这 五 个 模型 都 通过 了 样本 
外 数据 验证 测试 ， 尽 管 它们 只 是 与 股价 完全 没有 关联 的 随机 变量 。 


若 使 用 更 多 解释 变量 ， 准 确 率 还 会 上 升 。 我 又 重复 了 一 次 实验 ， 推 算 
了 4 959 个 可 能 的 双 变 量 模型 。 随 机 变量 57 和 59 的 吻合 度 最 高 : 


Y = 2100.46 + 3.4612R57 - 4.8283R90 


2016 年 实际 结果 与 预测 结果 的 相关 系数 


0.00 0.20 040 060 0.80 0.100 
2015 年 实际 结果 与 预测 结果 的 相关 系数 


图 11.5 100 个 单一 变量 模型 的 样本 内 和 样本 外 数据 吻合 情况 


这 个 模型 的 样本 内 数据 准确 率 竟 高 达 79% , 但 是 样本 外 数据 准确 率 

为 -56%。 这 个 双 变 量 模型 与 2015 年 的 数据 高 度 吻合 ， 但 是 对 2016 年 
的 预测 结果 却 与 实际 值 呈 负 相 关 关 系 。 尽 管 有 这 个 缺点 ， 但 更 多 的 数 
据 挖掘 肯定 会 找到 既 符 合 2015 年 的 训练 数据 ， 又 符合 2016 年 的 验证 


数据 的 模型 。 


使 用 双 变 量 的 模型 ，2015 年 回 测 数据 的 平均 准确 率 为 40%， 而 2016 
年 预 留 数据 的 平均 准确 率 为 -1%。 图 11.6 为 2015 年 和 2016 年 准确 率 之 
间 的 关系 。 


这 4 950 个 模型 把 图 表 变 成 了 巨大 的 斑点 。 有 很 多 模型 ( 如 随机 变量 
57 和 90 ) 与 2015 年 数据 吻合 度 高 ， 但 与 2016 年 数据 的 吻合 情况 一 塌 
糊涂 。 同 时 ， 也 有 很 多 模型 与 这 两 年 的 数据 都 非常 吻合 ， 有 时 ， 与 
2016 年 数据 的 吻合 度 甚 至 高 于 2015 年 。 这 就 是 偶然 的 本 质 ， 这 些 都 
是 偶然 得 出 的 变量 。 


有 46 个 模型 的 2015 年 准确 率 为 70%， 其 中 11 个 模型 的 2016 年 准确 率 
为 70%。 这 11 个 模型 都 通过 了 验证 测试 ， 但 它们 对 预测 其 他 年 份 的 股 
价 还 是 没有 效果 ， 如 2017 年 。 
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图 11.6 4950 个 双 变 量 模型 的 样本 内 和 样本 外 数据 吻合 情况 


有 一 个 使 用 随机 变量 14 和 74 的 模型 ， 其 2015 年 准确 率 为 70%， 而 对 
于 2016 年 验证 数据 的 准确 率 竟然 达到 88% | 如 果 我 们 对 此 不 够 了 解 ， 
可 能 还 以 为 自己 取得 了 什么 重大 发 现 。 然 而 事实 是 ， 人 们 总 能 找到 同 
时 符合 样本 内 和 样本 外 数据 的 模型 ， 即 使 这 些 数据 都 不 过 是 随机 噪 


Fo 


对 含有 更 多 解释 变量 的 模型 来 说 ， 情 况 则 有 过 之 而 无 不 及 。 若 变量 增 
加 ， 可 能 的 模型 数量 会 呈现 爆炸 式 增 长 ， 找 到 符合 训练 数据 和 预 留 交 
据 的 模型 的 确定 性 也 会 更 大 。 含 三 个 变量 的 可 能 模型 有 161 700 个 ， 
含 四 个 变量 的 可 能 模型 有 3 921 225 个 ， 含 5 个 变量 的 可 能 模型 有 75 
287 520 个 。 


随 着 可 能 性 越 来 越 多 ， 图 表 会 密密麻麻 地 布 满 圆 点 ( 如 图 11.6 所 
示 ) 。 但 是 ， 原 则 仍然 成 立 。 从 中 肯定 能 找到 很 多 模型 同时 与 2015 年 
和 2016 年 的 数据 吻合 。 


例如 ， 最 佳 的 五 变量 模型 的 2015 年 样本 内 数据 准确 率 为 88%，2016 
年 样本 外 数据 准确 率 为 -52%。 然 而， 有 些 5 变 量 的 模型 碰巧 与 2015 年 
的 吻合 度 高 ， 有 些 是 与 2016 年 的 吻合 度 高 ， 还 有 些 在 这 两 年 的 吻合 度 
都 很 高 。 我 的 数据 挖掘 软件 识别 了 11 201 个 5 变量 模型 ， 这 些 模型 与 
2015 年 标准 普尔 500 指 数 的 实际 值 和 预测 值 之 间 的 相关 系数 至 少 为 


85%， 其 中 有 109 个 模型 的 2016 年 准确 率 高 于 85%，49 个 模型 的 2016 
年 准确 率 高 于 90%。 如 果 我 再 党 试 更 多 变量 ， 我 的 数据 挖掘 软件 肯定 
会 发 现 对 两 年 的 准确 率 都 高 于 90%， 甚 至 高 于 95% 的 模型 。 


这 不 是 “知识 发 现 ”, 而 是 偶然 发 现 。 


如 果 我 们 搜 遍 股 价 数据 就 是 为 了 找到 不 合理 的 系统 以 完胜 股市 ， 几 乎 
可 以 肯定 的 是 ， 我 们 会 因此 更 穷 。 


真正 的 数据 挖掘 


Quantopian ( 众 包 型 量化 投资 平台 ) 网 站 为 想 要 成 为 投资 大 神 的 人 提 
供 编写 其 交易 算法 的 空间 ， 再 用 历史 数据 回 测 ， 看 看 这 些 算 法 会 带 来 
多 大 回报 。 听 起 来 很 合理 。 不 过 ， 我 们 知道 ， 数 据 挖 掘 总 能 找到 在 挖 
掘 期 内 获 利 的 算法 。 我 们 还 知道 ， 没 有 逻辑 基础 的 算法 在 使 用 全 新 数 
据 时 的 表现 通常 会 让 人 大 失 所 望 ， 无 论 它们 的 回 测 结果 有 多 好 。 


Quantopian 平 台 有 意思 的 一 点 在 于 ， 尽 管 这 些 算法 的 细节 没有 公开 ， 
但 任何 人 都 可 自主 采用 过 去 任何 时 间 段 的 数据 进行 验证 。 此 外 ， 每 个 
算法 都 有 时 间 标 记 ， 显 示 该 算法 的 最 后 版 本 是 于 何 时 发 表 在 
Quantopian 平 台 上 的 。 


有 外 部 团队 检验 了 该 平台 将 近 1 000 个 股票 交易 算法 ， 这 些 算法 均 发 
表 于 2015 年 1 月 1 日 到 6 月 30 日 。 每 个 算法 都 利用 2010 年 至 发 表 前 的 数 
据 进行 回 测 〈 训练 期 ) ， 然 后 再 用 发 表 后 到 2015 年 12 月 31 日 的 全 新 
数据 进行 检验 ( 验证 期 ) 。 结 果 发 现 ， 训 练 期 和 验证 期 的 收益 之 间 存 
在 很 小 但 是 统计 学 意义 显著 的 负 相 天 关系 。 大 写 的 乾 这 ! 


同 交 易 


卖 空 股票 是 指 卖 出 从 其 他 投资 者 手中 借 来 的 股票 。 有 时 候 还 必须 回 购 
RE ( 希望 是 以 更 低 的 股价 ) 还 给 投资 者 。 现 在 ， 假 设 你 能 以 90 美 元 
的 价格 买 入 一 只 股票 ， 并 以 100 美 元 的 价格 卖 空 同一 只 股票 。 如 果 这 

两 个 股价 趋同 于 110 美 元 ， 那 么 你 的 第 一 只 股票 的 收益 为 20 美 元 ( 90 
美元 买 入 ， 后 以 110 美 元 卖 出 ) ， 第 二 只 股票 损失 了 10 美 元 (100 美 

元 卖 出 ， 后 以 110 美 元 回 购 ) 。 因 此 ， 你 的 净 收 益 为 10 美 元 ， 即 两 个 
初始 股价 之 差 。 


相反 ， 如 果 这 两 个 股价 趋同 于 80 美 元 ， 那 么 你 的 第 一 只 股票 损失 了 10 
美元 ( 90 美 元 买 入 ， 后 以 80 美 元 卖 出 )， 第 二 只 股票 收益 为 20 美 元 
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(100 美 元 卖 出 ， 后 以 80 美 元 回 购 ) 。 因 此 ， 你 的 净 收 益 为 10 美 元 。 


这 就 是 所 谓 的 “趋同 交易 ”, 因为 你 赌 的 不 是 两 只 股票 的 涨 跌 ， 而 是 股 
价 会 趋向 一 个 共同 的 价格 。 


倚 兰 皇家 壳牌 集团 


1907 年 ， 和 荷兰 皇家 石油 公司 (UT EE) 和 美国 壳牌 运输 和 贸 
公司 ( 总 部 位 于 英国 ) 合并 经 营 ， 联手 对 抗 约翰 :D. 洛 克 菲 勒 的 标准 石 
油 公司 一 一 全 球 最 大 的 炼油 公司 。 荷 兰 皇家 石油 将 专注 于 生产 ， 英 国 
壳牌 则 专注 于 销售 ， 合 并 经 营 之 后 ， 这 两 家 公司 或 许 还 能 存活 下 去 。 


人 i de FER ARERR Re SB 
目前 的 股东 ， 只 股票 也 继续 在 各 家 证 券 交 易 所 进行 交易 ， 不 过 

所 有 收益 和 支出 都 合并 j 母 公司 荷兰 皇家 壳牌 集团 ( 荷兰 皇家 石油 占 

股 60%， 美国 壳牌 占 股 40% ) 。 集 团 全 部 收入 的 60% 归 荷兰 皇家 石 

油 ，40% 归 英国 壳牌 ; 集团 派发 的 全 部 股息 的 60% 归 荷兰 皇家 石油 的 

股东 ，40% 归 英国 壳牌 的 股东 ; 如 果 集团 被 出 售 ， 收 入 的 60% 归 荷兰 

皇家 石油 的 股东 ，40% 归 英国 壳牌 的 股东 。 


无 论 英 国 壳牌 的 价值 为 多 少 ， 傈 三 星 家 石油 的 价值 都 要 比 它 
50%。 如 果 股 市 对 两 者 股票 的 估 值 正确 ， 荷兰 皇家 石油 的 股票 入 应 
该 总 会 比 英国 壳牌 的 高 出 50%。 但 事实 并 非 如 此 ! 


图 11.7 为 1957 年 3 月 13 日 (两 只 股票 ee a 
易 ) 到 2005 年 7 月 19 日 (两 家 公司 完全 合并 ， 股票 停 止 单独 交 
荷兰 皇家 石油 与 英国 壳牌 的 股票 市 值 比率 。 
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图 11.7 荷兰 皇家 石油 与 英国 壳牌 


荷兰 皇家 石油 的 股价 几乎 从 未 刚好 比 英国 壳牌 的 高 50% ， 有 时 会 高 
40% ， 有 时 会 低 30%。 从 整个 时 间 自 来 看 ， 两 者 的 实际 市 值 比 与 正确 
的 理论 市 值 比 (1.5) 之 间 的 百 分 差 有 46% 的 时 间 高 于 10% ,有 18% 的 
时 间 高 于 20%。 


这 种 情况 非常 适合 趋同 交易 。 当 荷兰 皇家 石油 的 交易 价 与 英国 壳牌 的 
交易 价 之 比 高 于 1.5 时 ， 投 资 者 可 以 买 入 英国 壳牌 ， 卖 空 荷 兰 皇家 石 
油 ， 赌 这 个 溢价 会 消失 。 


1997 年 ， 美 国 长 期 资本 管理 公司 就 这 么 做 了 ， 当 时 的 溢价 从 8% 涨 到 
10%。 该 公司 买 入 英国 壳牌 价值 11.5 亿 美元 的 股票 ， 卖 空 倚 兰 皇家 石 
油价 值 11.5 亿 美元 的 股票 ， 坐 等 市 场 修正 股价 。 该 公司 拥有 全 明星 阵 
容 的 管理 团队 ， 包 括 两 名 荣获 1997 年 诺 贝尔 奖 的 金融 学 教授 ， 这 是 很 
聪明 的 一 招 ， 其 依据 是 具有 说 服 力 的 逻辑 ， 而 不 仅 是 偶然 发 现 且 宫 无 
意义 的 统计 学 模式 。 市 值 比率 最 终 应 该 达到 1.5， 长 期 资本 管理 公司 
会 从 这 次 机 智 的 对 冲 交易 中 获 利 。 


然而 ， 正 如 凯恩斯 在 大 希 条 期 间 观 察 所 得 : 
这 套 长 期 理论 在 误导 当前 事物 。 从 长 期 来 看 ， 我们 都 


难 逃 一 死 。 经 济 学 家 为 自己 设置 了 过 于 容易 、 过 于 无 
用 的 任务 ， 如 果 遇 上 狂风 暴雨 ， 他 们 唯一 能 告诉 我 们 
的 只 有 : 暴风 十 过后， 大 海 会 恢复 平静 。 


凯恩斯 嘲讽 的 观点 是 : 从 长 远 来 看 ， 经 济 发 展会 趋 于 平静 ， 想 找 工作 
的 人 总 会 找到 工作 的 。 他 认为 ， 短 期 的 经 济 衰退 风暴 比 假想 的 长 期 平 
静 更 加 重要 ， 或 许 没 人 能 够 看 到 那个 长 期 的 到 来 。 股 市 也 是 如 此 。 从 
长 期 来 看 可 获 利 的 趋同 交易 ， 从 短期 来 看 却 会 带 来 灾难 性 后 果 。 


1998 年 初 ， 长 期 资本 管理 公司 的 净 价 值 接近 50 亿 美元 。 同 年 8 月 ， 一 
场 始 料 未 及 的 风暴 来 将。 俄罗斯 未 能 偿还 债务 ， 并 且 察 觉 到 整个 金融 
市 场 的 度量 风险 都 在 提高 。 长 期 资本 管理 公司 在 很 多 不 同市 场 都 下 了 
赌注 ， 猜 测 大 部 分 的 风险 溢价 将 下 降 。 但 自 俄罗斯 未 能 偿还 债务 后 ， 
到 处 都 出 现 了 风险 溢价 上 涨 ， 长 期 资本 管理 公司 遇 到 了 麻烦 ， 而 且 是 
很 大 的 麻烦 。 


该 公司 争论 道 ， 一切 都 是 时 间 的 问题 ， 等 时 候 到 了 ， 金融 市 场 就 会 恢 
复 到 正常 水 平一 一 暴风 雨 终 将 过 去 ， 大 海 会 再 次 平静 一 一 但 是 ， 该 公 
司 已 经 等 不 起 了 。 它 下 的 大 赌注 和 借款 之 间 的 杠杆 过 高 一 一 若 能 偿 清 
就 尚好 ， 否则 会 导致 灾难 性 的 后 果 。8 月 21 日 ， 该 公司 损失 了 5.5 亿 美 
元 ， 整 个 月 下 来 共 损失 了 21 亿 美元 ， 将 近 其 净 价 值 的 一 半 。 


长 期 资本 管理 公司 努力 筹集 更 多 资金 ， 期 待 熬 过 这 次 风暴 ， 但 贷方 已 
成 惊 弓 之 鸟 ， 不 愿 再 给 该 公司 放贷 ， 还 想 着 讨 回 先前 的 借款 。 


凯恩斯 不 仅 是 大 师 级 经 济 学 家 ， 还 是 传奇 般 的 投资 家 。 他 曾 告 

im: “市场 保持 非 理 性 状态 的 时 间 ， 可 比 你 保持 有 偿还 能 力 的 时 间 更 
长 。” 可 能 市 场 对 俄罗斯 未 偿还 债务 的 反应 过 度 了 ， 也 可 能 长 期 资本 
管理 公司 最 终 会 转 亏 为 鳃 。 但 是 ， 它 保持 有 偿还 能 力 的 时 间 ， 不 足以 
让 它 见 证 这 一 刻 的 到 来 。 


该 公司 不 得 不 对 其 持 有 的 荷兰 皇家 壳牌 集团 股票 进行 平 仓 处 理 ， 当 
时 ， 荷兰 皇家 石油 的 溢价 不 降 反 升 ， 超 过 了 20%。 长 期 资本 管理 公司 
在 这 笔 交 易 中 损失 了 1.5 亿 美元 。 


同年 9 月 23 日 ， 沃 伦 :巴菲特 给 该 公司 传真 了 一 封 信件 ， 提 出 要 以 2.5 亿 
美元 收购 该 公司 ， 约 为 其 年 初 兆 价 值 的 5%。 这 次 出 价 是 “要 卖 就 卖 ， 
不 卖 拉倒 ”型 ， 截 止 时 间 为 当天 中 午 12 点 30 分 ， 也 就 是 传真 后 的 一 个 
小 时 。 该 公司 最 后 没有 接受 出 价 ， 开 始 为 自己 准备 “后 事 ”。 


纽约 联邦 储备 银行 担心 长 期 资本 管理 公司 未 偿还 债务 会 引起 多 米 庄 效 


应 ， 触 发 全 球 金融 危机 。 于 是 ， 纽 约 联邦 储备 银行 携手 长 期 资本 管理 
公司 的 债权 人 接管 该 公司 并 清算 其 资产 。 债 权 人 收回 了 贷款 ， 公 司 创 
始 合伙 人 损失 了 10.9 亿 美元 ， 其 他 投资 者 则 花 大 价钱 上 了 一 课 ， 了 解 
到 了 杠杆 的 力量 。 


注意 看 图 11.7，2005 年 ， 溢 价 最 终 的 确 消 失 了 ， 当 时 荷兰 皇家 石油 与 
英国 壳牌 合并 ， 和 荷兰 皇家 石油 的 股东 拿 到 了 合并 公司 60% 的 股份 ， 英 
国 壳 牌 的 股东 则 拿 到 了 其 余 的 40%。 和 荷兰 皇家 壳牌 集团 这 次 的 交易 确 
实 是 明智 之 举 ， 合 情 合理 且 最 后 也 成 功 获 利 。 不 幸 的 是 ， 长 期 资本 管 
理 公司 的 那些 交易 就 欠缺 考虑 ， 最 后 迫使 自己 不 得 不 过 早 清算 了 和 荷兰 
皇家 壳牌 集团 的 股票 。 


股市 价格 有 时 稀奇 古怪， 荷兰 皇家 壳牌 集团 的 错误 定价 就 是 非常 有 说 
服 力 的 例证 。 无 论 美 国 壳 牌 股票 的 “正确 ”价值 是 多 少 ， 和 荷兰 皇家 石油 
总 会 多 出 50%， 然 而 股市 价格 时 高 时 低 ， 为 有 利 可 图 的 趋同 交易 创造 
了 机 会 。 然 而 ， 这 个 例子 还 说 明 ， 即 使 是 由 行业 顶级 人 士 正 确 无 误 地 
完成 的 趋同 交易 ， 也 是 有 风险 的 ， 因 为 趋同 所 需 时 间 可 能 比 预 期 更 
长 。 而 没有 逻辑 基础 的 趋同 交易 就 更 加 危机 四 伏 了 。 


黄金 白银 比率 


20 世 纪 80 年 代 ， 大 名 昂昂 的 投资 顾问 公司 Hume & Associates ( 休 姆 

联合 公司 ) 制作 出 《超级 投资 者 档案 》 (The Superinvestor 

Files) ， 向 全 美 宣传 ， 普 通 投资 者 靠 它 就 能 获得 非常 可 观 的 利润 。 订 
阅 用 户 每 月 会 收 到 一 份 印刷 精良 的 50 页 册子 ， 每 本 25 美 元 ， 外 加 合计 
2.5 美 元 的 邮费 和 处 理 费 。 


回想 起 来 ， 本 应 显而易见 的 是 ， 如 果 这 些 策略 像 广告 宣传 的 那样 有 赚 
头 ， 该 公司 利用 这 些 策略 可 以 比 推销 册子 挣 更 多 的 钱 。 然 而 ， 容 易 受 
骗 、 贪 梦 的 投资 者 忽视 了 这 一 点 ， 反 而 希望 花 上 25 美 元 和 合计 2.5 美 
元 的 邮费 和 处 理 费 ， 就 买 到 成 为 百 万 富翁 的 秘诀 。 


其 中 一 个 超级 投资 者 策略 是 基于 黄金 白银 比率 (gold/silver 
ratio,GSR ) ， 即 每 僵 司 黄金 和 白银 的 价格 比率 。1985 年 ， 黄 金 的 均 
价 为 317.26 美 元 ， 白 银 的 均 价 为 5.88 美 元 ， 则 GSR 为 317.26 美 

元 /5.88 美 元 = 54, 也 就 是 说 ， 每 盘 司 黄金 的 价格 是 白银 的 54 倍 。 


1986 年 ， 休 姆 写 道 : 


GSR 在 过 去 七 八 年 内 的 波动 幅度 较 大 ，1980 年 低 至 
19 : 1，1982 年 高 达 52 : 1， 到 了 1985 年 又 升 至 
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55 : 1。 但 是 ， 你 也 能 清晰 地 看 到 ， 它 总 是 CE 
总 是 会 回 到 34 1~38 à 1 的 范围 。 


图 11.8 证 明了 1970 一 1985 年 的 GSR 在 34~38 的 范围 内 波动 。 
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图 11.8 1970 一 1985 年 的 GSR 


GSR 策 略 是 在 GSR 处 于 异常 高 的 状态 时 ， 卖 金 买 银 ; 处 于 异常 低 的 状 
态 时 ， 则 买 金 卖 银 。 采 用 期 货 合 约 使 这 些 交 易 产生 了 巨大 杠杆 ， 有 可 
能 获得 暴利 。 这 是 一 次 趋同 交易 ， 因 为 投资 者 财 的 不 是 金 银 价格 的 涨 
跌 ， 而 是 两 者 比率 会 趋同 于 其 历史 比率 。 


一 盘 司 黄金 的 价格 应 是 白银 的 36 倍 ， 其 中 原因 毫 无 规律 可 循 。 黄 金 和 
白银 不 像 鸡蛋 ， 可 以 买 一 打 或 半 打 ， 如 果 价 格 有 偏差 ， 消 费 者 会 买 更 
便宜 的 鸡蛋 ; 也 不 像 玉 米 、 大 豆 ， 如 果 玉 米 相对 大 豆 的 价格 上 涨 ， 农 
民 就 种 更 多 的 玉米 。 


最 终 显示 ，1983 年 GSR 上 涨 到 38 后 ， 直 至 2011 年 ， 也 就 是 28 年 后 ， 
才 回 落 。 如 图 11.9 所 示 ，GSR 保 持 在 34~38 的 范围 内 只 是 短暂 出 现 的 
巧合 ， 不 是 这 个 超级 策略 的 基础 。 期 货 合约 可 能 成 倍 扩 大 损失 和 收 
益 ， 而 在 1985 年 下 注 GSR 则 会 产生 灾难 性 的 后 果 。 
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图 11.9 1970—2017 AYGSR 


其 他 趋同 交易 
早期 趋同 交易 只 依据 简单 的 模式 进行 ， 如 GSR ， 在 价格 图 上 一 目 了 
然 。 现 代 计 算 机 能 搜 遍 大 量 数据 库 ， 寻 找 更 不 易 察 觉 和 复杂 的 趋同 交 


易 。 如 果 两 个 价格 之 间 的 相关 系数 为 0.9， 价 格 开始 往 不 同方 向 移 
动 ， 交 易 算法 可 能 就 会 判断 这 一 历史 关系 会 重 现 。 


即使 计算 机 发 现 了 模型 ，GSR 交 易 中 也 存在 同样 的 问题 ， 即 无 理论 支 
撑 的 数据 存在 隐患 。 趋 同 交 易 需 要 合理 ， 因 为 如 果 找 不 到 所 发 现 模型 
的 根本 原因 ， 该 模型 出 现 的 偏离 也 就 没有 理由 自我 修正 。 统 计 学 相关 
系数 可 能 是 偶然 出 现 的 模型 ， 转 瞬 即 逝 。 


倚 兰 皇家 壳牌 集团 的 趋同 交易 就 有 很 合理 的 基础 ， 但 是 长 期 资本 投资 
公司 破产 的 原因 是 ， 将 大 量 赌资 压 在 了 根本 原因 不 具有 说 服 力 的 相关 
系数 上 。 例 如 ， 法国 和 德国 各 种 利率 之 间 的 关系 与 风险 溢价 。 一 名 经 
理 后 来 痛惜 道 : “我 们 公司 的 学 术 大 师 在 加 盟 时 毫 无 交易 经 验 ， 就 这 
样 开始 建 模 。 鉴 于 自己 做 出 的 假设 ， 他 们 的 交易 看 似 不 错 ， 但 常常 连 
简单 的 可 信 度 检验 都 无 法 通过 。” 


讽刺 的 是 ， 观 察 荷 兰 皇家 石油 和 英国 壳牌 在 任何 一 两 年 内 的 每 日 股 
价 ， 黑 匣子 式 的 交易 算法 都 不 会 识别 出 它们 股价 的 比率 应 该 是 1.5。 
它 会 漏 掉 其 中 一 次 合理 的 趋同 交易 。 


图 11.10 所 示 的 是 一 个 更 近 时 期 的 趋同 交易 机 会 。 在 2015 年 和 2016 年 
大 部 分 时 间 ， 这 两 只 股票 的 股价 比率 波动 范围 的 平均 值 为 0.76。 虽 然 
价格 比率 相对 于 0.76 时 高 时 低 ， 但 总 是 会 回 到 明显 的 均衡 值 。 


2016 年 8 月 25 日 ， 该 价格 比率 突破 1， 表明 这 是 卖 出 一 股 买 入 另 一 股 
的 好 时 机 。 可 惜 的 是 ， 如 图 11.11 所 示 ， 该 比率 并 没有 回 到 自然 均衡 
值 0.76， 而 是 继续 上 升 ， 翻 了 一 倍 多 。2016 年 11 月 3 日 ， 其 峰值 高 达 
2.14， 而 后 才 稍 有 回落 。 


或 许 ， 该 比率 终 有 一 天 会 回 到 0.76， 也 可 能 不 会 。 

我 如 何 得 知 ? 因为 这 些 是 我 用 随机 数字 生成 器 捏造 出 的 数据 。 我 再 一 
次 老 调 重 弹 ， 使 用 了 计算 机 随机 数字 生成 器 。 将 起 始 股价 设 为 50 美 
元 ， 然 后 用 电脑 抛 25 次 硬币 ， 正 反面 分 别 加 碱 50 美 分 ， 得 到 10 只 虚 
构 股 票 两 年 内 的 每 日 股价 数据 。 

随后 ， 我 又 观察 了 配对 股价 的 比率 ， 也 没 花 太 长 时 间 。 图 11.10 和 图 
11.11 的 数据 ， 就 是 随机 股价 2 和 随机 股价 1 的 比率 。 
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图 11.10 趋同 交易 
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图 11.11 MA 


比率 初始 值 为 1， 是 因为 每 个 虚假 股价 的 起 价 均 为 50 美 元 。 抛 硬币 碰 
巧 得 出 的 比率 围绕 0.76 来 回 移动 了 一 年 半 。 之 后 ， 比 率 突然 暴涨 ， 接 
着 有 所 回落 。 该 比率 下 一 步 会 如 何 变动 ? 我 不 知道 ， 这 完全 取决 于 计 
算 机 的 随机 数字 生成 器 。 


随机 股价 1 和 随机 股价 2 完全 独立 。 它 们 的 共同 点 仅 在 于 起 价 均 为 50 美 
元 。 在 这 之 后 ， 股 价 1 每 日 的 变化 都 由 电脑 的 25 次 抛 硬币 决定 ， 股 价 2 
也 是 如 此 。 每 个 价格 都 跟随 随机 游 走 程序 ， 涨 跌 可 能 性 一 样 大 ， 完 全 
独立 于 其 他 价格 路 径 。 但 是 ， 它 们 的 价格 比率 似乎 都 停留 在 0.76 附 
近 ， 不 会 长 时 间 偏离 ， 很 快 又 会 再 次 恢复 。 后 来 ， 随 机 游 走 程序 突然 
将 比率 带 得 远离 0.76， 可 能 再 也 不 会 恢复 。 


要 注意 的 是 ， 即 使 数据 完全 是 随机 生成 的 ， 还 是 会 出 现 适 合 进 行 趋同 
交易 的 情况 。 但 这 并 不 代表 每 次 潜在 的 趋同 交易 都 是 随机 噪声 。 要 提 
醒 大 家 的 是 ， 我 们 无 法 像 黑 匣子 式 的 数据 挖掘 软件 那样 ， 仅 靠 观察 数 
据 ， 就 能 分 辨 出 趋同 模型 反映 的 情况 是 真实 的 还 是 偶然 的 。 计 算 机 对 
于 判断 趋同 模式 是 否 具有 逻辑 基础 完全 无 能 为 力 。 只 有 人 类 才能 判断 
关系 的 形成 理由 是 否 具有 说 服 力 。 对 荷兰 皇家 壳牌 集团 来 说 ， 这 个 答 
案 是 肯定 的 。 但 对 GSR 来 说 ， 就 不 是 了 。 


aS LE > 
局 频 交 易 


有 些 算 法 被 用 以 进行 高 频 交 易 ， 使 其 买卖 速度 快 到 超 乎 人 的 想象 。 计 
算 机 可 能 会 注意 到 ， 只 要 股价 下 跌 的 股票 数量 在 接 下 来 的 140 秒 内 比 
股价 上 涨 的 股票 数量 超出 8%， 标 准 普尔 500 指 数 的 期 货 价 格 通常 也 会 
上 涨 。 计 算 机 将 这 一 指标 存档 待 用 。 当 同一 信号 再 次 出 现时 ， 计 算 机 
便 发 动 猛 攻 ， 立 刻 买 入 数 干 手 标准 普尔 500 指 数 期 货 ， 随 后 又 迅速 卖 
出 。《 连 线 》 杂 志 对 这 些 自动 化 系统 赞 不 绝口 ， 认 为 它们 “ 比 所 有 人 

类 都 更 高 效 、 快 速 和 聪明 ”。 更 快速 ， 确 实 是 的 ; 但 更 聪明 ， 并非 如 

此 。 


投资 公司 花费 几 十 亿美 元 建立 靠近 股市 的 交易 中 心 ， 使 用 光纤 网 线 、 

微波 塔台 和 激光 通信 线路 ， 将 和 芝加哥、 纽约、 伦敦、 法兰克福 和 东京 
的 信息 传播 与 交易 下 单 时 间 缩 短 至 毫秒 和 纳 秒 。 例 如 ， 纽 约 证 券 交 易 
所 和 芝加哥 商品 交易 所 之 间 的 一 连 串 微波 塔台 ， 能 在 9 毫秒 内 往返 发 

送 距离 超过 700 英 里 的 买卖 订单 。 为 什么 要 这 么 做 呢 ? 


第 一 个 目的 是 ， 利 用 可 察觉 到 的 定价 差异 。 假 设 IBM 的 股票 在 一 家 交 


易 所 的 每 股 买 入 价 为 200.0000 美 元 ， 在 另 一 家 交易 所 的 每 股 卖 出 价 为 
200.0001 美 元 。 发 现 这 一 异常 现象 的 计算 机 程序 会 以 200.0000 美 元 
尽量 多 地 买 入 ， 为 的 就 是 在 一 毫秒 后 再 以 200.0001 美 元 卖 出 ， 直 到 这 
一 价格 差异 消失 。 每 股 0.0001 美 元 的 收益 并 不 多 ， 但 是 如 果 在 一 秒 内 
完成 数 百 次 或 数 千 次 交易 ， 就 能 产生 非常 可 观 的 年 收益 。 


在 理性 的 世界 里 ， 资 源 不 会 浪费 在 这 些 无 意义 的 事情 上 。 不 同 交 易 所 
的 股价 出 现 如 此 细微 的 差异 ， 这 真 的 重要 吗 ? 差异 定价 持续 了 9 之 
秒 ， 而 不 是 10 毫 秒 ， 这 真 的 要 紧 吗 ? 


极速 交易 的 第 二 个 目的 是 ， 比 普通 投资 者 更 快 一 步 下 单 。 如 果 杰 里 下 
单 ， 以 当前 市 场 价 格 买 入 1 000 股 股票 ， 极 速 运 转 的 交易 程序 可 能 会 
先 买 入 ， 又 在 毫秒 之 间 卖 给 杰 里 ， 一 来 一 回 每 股 赚 取 1 美 分 的 利润 。 

以 每 股 1 美 分 的 收益 交易 1 000 股 ， 就 获得 了 10 美 元 的 收益 。 如 此 不 断 
重复 ， 利 润 可 以 达到 数 百 万 美元 。 计 算 机 坑 骗 杰 里 ， 让 他 每 股 多 付 1 
美 分 ， 这 给 社会 带 来 了 什么 经 济 利益 呢 ? 毫 无 利益 可 言 ， 只 不 过 是 个 


计算 机 化 的 扒手 偷 了 钱 ， 受 害 者 甚至 还 蒙 在 鼓 里 。 


更 根本 的 是 ， 用 超级 智能 程序 来 运行 极速 交易 程序 ， 而 不 是 将 其 用 在 
大 有 禄 益 的 地 方 ， 会 之 来 什么 经 济 利益 ? 建立 交易 中 心 ， 布 好 传输 线 
路 来 加 快 股市 下 单 ， 而 不 是 将 这 些 资源 用 在 大 有 神 益 的 地 方 ， 会 带 来 
什么 经 济 利益 ? 


极速 交易 反而 会 雪上 加 霜 ， 导 致 经 济 损害 。 


如 果 有 人 让 计算 机 寻找 有 可 能 获 利 的 模型 (无论 所 发 现 的 模型 是 否 合 
E) ， 然 后 在 模型 重 现时 买 入 或 卖 出 ， 计 算 机 会 唯 命 是 从 (无论 这 个 
模型 是 否 合理 ) 。 的 确 ， 计 算 机 背 后 会 有 人 吹 吨 ， 他 们 真 的 不 知道 为 
什么 自己 的 计算 机 会 自行 决定 交易 。 毕 竟 ， 计 算 机 比 他 们 更 聪明 ， 不 
是 吗 ? 他 们 该 做 的 不 是 自 吹 自 擂 ， 而 是 自 求 多 福 。 


指令 克隆 问题 也 提高 了 黑匣子 式 高 频 投 资 的 风险 。 如 果 软 件 工程 师 给 
几 百 台 计 算 机 下 达 相 似 的 指令 ， 就 会 有 数 百 台 计 算 机 在 同一 时 间 竞 相 
买卖 同一 只 股票 ， 广 泛 影 响 金融 市 场 的 稳定 。《 连 线 》 杂 志 值 得 赞扬 
的 是 ， 它 认识 到 了 无 人 监管 的 计算 机 一 致 运作 存在 危险 :“ 最 糟糕 的 
情况 是 ， 无 人 监管 的 计算 机 变 成 难以 捉摸 的 反馈 循环 .…… 最 终 击 垮 了 
计算 机 系统 。” 


[A] Fe BA ES 


2010 年 5 月 6 日 ， 美 国 股市 受到 著名 的 “内 电 骨 盘 ” 的 冲击 。 当 天 ， 投 资 


者 都 担心 希腊 债务 危机 ， 一 名 焦虑 的 互惠 基金 经 理 设法 卖 出 41 亿 美元 
的 期 货 合约 ， 以 对 冲 其 投资 组 合 。 他 的 思路 是 : 如 果 市 场 下 跌 ， 基金 
股票 投资 组 合 的 损失 可 以 用 期 货 合约 的 收益 抵消 。 这 一 看 似 谨慎 的 交 
易 ， 不 知 怎 么 就 触发 了 计算 机 。 计 算 机 买 入 大 量 该 基金 卖 出 的 期 货 合 
约 ， 然 后 又 迅速 卖 出 ， 因 为 它们 不 喜欢 长 期 持 有 头寸 。 期 货 价 格 开始 
下 跌 ， 于 是 计算 机 决定 加 大 买 入 卖 出 的 数量 。 受 到 刺激 的 计算 机 疯狂 
进行 交易 ， 自 买 自 卖 基金 的 期 货 合 约 ， 就 像 一 个 被 雪 来 丢 去 的 汤 手 山 
Fo 


没有 人 确切 知道 计算 机 为 什么 会 突然 一 发 不 可 收拾 。 记 住 ， 就 连 计算 
机 背 后 的 人 也 不 明白 ， 计 算 机 为 什么 会 进行 交易 。 在 15 秒 的 间隔 时 间 
内 ， 计 算 机 跟 自 己 完成 了 2.7 万 次 期 货 合 约 交易 ， 占 总 交易 量 的 一 
Æ, 在 疯狂 的 15 秒 结束 后 ， 净 购买 量 只 有 200 份 合约 。 这 一 疯狂 交易 
扩散 到 了 常规 股市 的 交易 大 厅 里 ， 卖 出 的 订单 淹没 了 潜在 的 买 家 。 道 
琼斯 工业 平均 指数 在 5 分 钟 内 下 跌 近 600 点 。 坚 如 所 石 的 蓝筹 股 宝洁 的 
股价 也 在 不 到 4 分 钟 内 下 滑 了 37%。 有 些 计算 机 为 苹果 公司 、 惠 普 公 
司 和 知名 拍卖 行 苏 富 比 支 付 的 每 股 股价 超过 10 万 美元 。 还 有 些 计算 机 
将 埃 森 哲 咨询 公司 的 股票 和 其 他 主要 股票 以 每 股 不 足 1 美 分 的 价格 卖 
出 。 这 些 电脑 都 没有 常识 ， 它 们 完全 不 知道 苹果 公司 和 埃 森 哲 咨询 公 
司 的 价值 。 只 要 算法 下 达 指 令 ， 它 们 就 盲目 地 买卖 。 


直到 期 货 市 场 的 内 置 安全 卫士 中 止 所 有 交易 5 秒 ， 这 一 疯狂 局 面 才 得 
以 落幕 。 令 人 难以 置信 的 是 ， 这 短 短 的 5 秒 ， 就 足以 说 服 计算 机 停止 
它们 的 疯狂 交易 。15 分 钟 后 ， 市 场 恢复 正常 ， 道 琼斯 工业 平均 指数 短 
暂 暴 跌 600 点 也 只 是 梦 碑 般 的 回忆 。 


在 那 以 后 还 发 生 过 “内 电 崩 盘 ”, 未 来 可 能 会 出 现 更 多 。 令 人 匪夷所思 
的 是 ，2013 年 8 月 30 日 ， 宝 洁 再 次 于 纽约 证 券 交 易 所 遭遇 一 次 微 

型 “内 电 有 崩盘 ”, 之 所 以 这 么 说 ， 是 因为 并 没有 对 该 交易 所 其 他 股票 产 
生 特 别 大 的 影响 ， 宝 洁 在 其 他 交易 所 的 股票 也 没有 受到 特别 大 的 影 
Aa). 


莫名 其 妙 的 是 ， 纽 约 证 券 交 易 所 的 约 200 次 交易 ， 包 括 涉及 宝洁 股票 
在 1 秒 内 完成 的 约 25 万 股 交易 ， 触 发 股价 下 跌 了 59%， 从 77.50 美 元 降 
至 73.61 美 元 ， 随 后 在 不 到 1 分 钟 内 即 恢复 。 有 个 运气 好 的 人 ， 恰 巧 在 
正确 的 时 间 ， 出 现在 正确 的 地 方 ， 买 入 了 6.5 万 股 该 股票 ， 立 刻 赚 了 
15.5 万 美元 。 为 什么 会 发 生 这 种 情况 呢 ? 无 人 知晓 。 


虽然 交易 所 启动 安全 卫士 限制 了 进一步 的 “内 电 有 崩盘 ”, 但 这 也 说 明了 
黑匣子 式 投资 算法 的 根本 问题 。 这 些 计 算 机 程序 不 知道 每 只 股票 (或 
任何 其 他 投资 ) 是 真 的 廉价 还 是 昂贵 ， 甚 至 没有 试图 估算 这 只 股票 的 


真正 价值 。 这 就 是 为 什么 计算 机 程序 可 能 以 10 万 美元 每 股 的 价格 买 入 
苹果 的 股票 ， 而 仅 以 1 美 分 每 股 的 价格 卖 出 埃 森 哲 的 股票 。 


底线 


计算 机 没有 常识 或 智慧 。 它 们 能 识别 统计 学 模式 ， 但 无 法 判断 所 发 现 
的 模式 是 否 有 逻辑 基础 。20 世 纪 80 年 代 ， 当 黄金 和 白银 价格 的 统计 学 
相关 系数 被 发 现时 ， 计 算 机 程序 怎么 可 能 察觉 得 到 这 个 统计 学 相关 系 
数 是 否 具备 合理 的 理论 基础 呢 ? 在 宝洁 股票 价格 瞬间 下 跌 5% 时 ， 计 
算 机 又 怎么 能 判断 这 次 暴跌 是 有 理 有 据 ， 还 是 荒 请 离谱 的 呢 ? 


“人 非 圣 贤 ， 训 能 无 过 。” 但 是 人 也 有 潜力 识别 那些 错误 ， 避 免 被 计算 
机 模型 所 诱惑 。 


我 曾经 的 一 名 学 生 创立 了 一 家 成 功 的 基金 公司 ， 采 用 的 是 投资 其 他 投 
资 基金 的 策略 ， 而 不 是 直接 买 入 股票 、 债 券 和 其 他 资产 。 他 勤勉 努 
力 ， 采 访 了 数 千 名 投资 者 和 基金 经 理 。 最 后 ， 他 确定 了 金融 工程 师 对 
冲 基 金 的 四 种 类 型 ( 有 些 基 金 经 理会 结合 多 种 策略 使 用 ) 。 


1. 纯 套利 。 利 润 来 自 交 易 等 同 或 接近 等 同 资产 ， 通 常 
为 高 频 交 易 。 例 如 ， 在 两 所 不 同 的 交易 所 的 同一 只 股 
票 。 其 利润 一 般 很 小 ， 但 稳定 ， 风 险 小 。 


2. 市 场 制造 者 。 利 用 股价 差异 ， 例 如 ， 在 不 同 交 易 所 
的 相似 证 券 以 极 小 差价 进行 交易 。 获 利 可 观 ， 但 风险 
在 于 ， 交 易 不 按照 预期 价格 执行 ， 尤 其 在 交易 所 于 不 
同时 间 和 不 同日 期 开盘 时 ( 受 假期 影响 ) 。 


3. 统 计 学 套利 。 使 用 数据 挖掘 算法 来 识别 有 可 能 是 有 
利 可 图 的 交易 基础 的 历史 模型 。 利 润 丰厚 ， 但 风险 也 
很 大 。 例 如 ， 在 一 家 航空 公司 买 入 股票 ， 到 了 另 一 家 
便 卖 出 。 


4. 基 本 面 量 化 。 采 用 基础 数据 ( 如 股价 /收入 ) ， 有 
助 于 支持 具有 某 些 特征 的 股票 ， 同 时 避 开 或 卖 空 具有 
相反 特征 的 公司 。 


他 对 金融 工程 师 的 总 体 评估 是 :“ 如 今 有 几 干 名 “金融 工程 师 ; 投 资 者 和 
互惠 基金 。 只 有 小 部 分 能 够 实现 极 好 的 长 期 获 利 。 正 如 音乐 家 ， 可 以 
靠 不 止 一 种 类 型 的 音乐 取得 成 功 。 事 士 、 播 滚 和 乡村 音乐 艺术 家 的 演 
出 门票 都 会 销售 一 空 ， 同 时 还 有 几 干 名 其 他 类 型 的 音乐 家 在 更 廉价 的 


夜店 或 街道 转角 演奏 。” 
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+ > 
结语 


我 们 生活 在 一 个 不 可 思议 的 历史 时 期 。 计 算 机 革命 比 
工业 革命 给 人 们 的 生活 带 来 了 更 加 翻天 覆 地 的 变化 。 
我 们 可 以 使 用 计算 机 来 实现 过 去 无 法 完成 的 目标 ， 计 
算 机 也 为 我 们 打开 了 很 多 狐 新 的 大 门 ]。 


我 很 迷 计 算 机 ， 你 可 能 也 有 同感 。 但 是 ， 我 们 不 应 该 让 自己 对 计算 机 
的 喜爱 ,蒙蔽 了 对 它们 的 局 限 的 认 知 。 没 错 ， 计 算 机 储存 的 事实 数据 
比 我 们 多 ， 记忆力 比 我 们 好 ， 计 算 速 度 比 我 们 快 ， 还 不 会 像 我 们 那样 
疲倦 。 


机 器 人 完成 重复 单调 任务 的 能 力 远 超人 类 ， 如 拧 螺 栓 、 播 种 、 搜 索 法 
律 文件 、 接 受 银行 存款 和 分 配 现金 。 计 算 机 能 识别 物体 、 画 画 和 加 
车 。 你 肯定 还 可 以 想 出 计算 机 其 他 让 人 惊叹 的 ， 甚 至 是 超人 类 的 壮 
举 。 


因为 计算 机 能 够 极其 出 色 地 完成 任务 ， 所 以 很 容易 让 人 认为 它们 肯定 
是 高 度 智能 化 的 。 然 而 ， 在 完成 特定 任务 方面 大 有 用 处 与 拥有 通用 智 
能 是 两 码 事 。 通 用 智能 可 以 将 从 一 次 任务 中 吸取 到 的 教训 和 习 得 的 技 
能 ， 运 用 于 更 加 复杂 或 完全 不 同 的 任务 。 有 了 真正 的 智能 ， 技 能 便 可 
FR 


计算 机 非常 强大 ， 而 且 越 来 越 完善 ， 但 是 计算 机 算法 的 设计 ， 仍 然 是 
完成 定义 明确 的 琐事 所 需要 的 、 适 用 范围 非常 狭 窒 的 能 力 ， 而 不 是 像 
通用 智能 那样 可 以 通过 评估 事情 现状 、 起 因 和 后 果 ， 来 处 理 不 熟悉 的 
情境 。 人 类 能 够 将 通用 知识 运用 到 特定 情境 中 ， 再 借助 特定 情境 来 改 
善 自己 的 通用 知识 。 如 今 的 计算 机 还 无 法 做 到 这 一 点 。 


人 工 智 能 和 人 脑 的 真正 智能 完全 不 是 一 码 事 。 计 算 机 并 不 知道 词语 的 
意思 ， 因 为 它 无 法 像 我 们 一 样 感知 世界 。 它 不 知道 真实 世界 是 什么 ， 
缺少 人 类 在 现实 生活 中 积累 所 得 的 常识 或 智慧 ; 无 法 构想 出 有 说 服 力 
的 理论 学 说 ， 也 无 法 做 出 归纳 推理 或 长 期 规划 ; 没有 情绪 、 感 觉 和 灵 
感 ， 这 些 都 是 创作 扣人心弦 的 诗歌 、 小 说 或 电影 剧本 所 必 不 可 少 的 。 


或 许 有 一 天 ， 计 算 机 会 拥有 类 似 人 类 的 真正 智能 ， 但 这 并 不 是 因为 计 
算 机 内 存 更 大 或 处 理 速度 更 快 。 这 不 是 量变 的 问题 ， 而 是 质变 产生 的 
不 同方 式 一 一 找到 方法 让 计算 机 获取 通用 智能 ， 使 其 可 以 在 不 熟悉 的 
情境 中 灵活 运用 多 种 方式 。 


我 想 澄 清 一 点 ， 这 不 是 在 批评 计算 机 科学 家 。 他 们 都 才智 过 人 ， 也 付 
出 了 大 量 辛 勤 汗 水 。 计 算 机 科学 家 的 工作 难度 极 大 ， 并 且 大 有 补益 。 
还 有 更 多 需要 完成 的 工作 ， 难 上 加 难 。 


模仿 人 脑 是 一 项 艰巨 的 任务 ， 不 能 确保 一 定 会 成 功 。 不 过 ， 还 是 有 一 
些 传 奇 式 的 例外 ， 如 美国 电话 电报 公司 的 贝尔 实验 室 、 洛 克 希 德 ' 马 本 
公司 的 “ 臭 珊 工 | 和 施乐 公司 的 帕克 研究 中 心 ， 但 是 很 少 有 企业 愿意 
支持 与 脑力 有 天 、 短 期 无 回报 的 研究 。 一 些 有 用 且 能 立即 获 利 的 项 目 
对 它们 来 说 更 具 吸 引力 。 


我 不 知道 ， 开 发 出 可 与 人 类 相 媲 美的 通用 智能 的 计算 机 需要 多 长 时 
间 。 我 猜测 ， 至 少 也 需要 几 十 年 。 可 以 肯定 的 是 ， 那 些 声称 计算 机 已 
经 拥有 通用 智能 的 说 法 都 是 错 的 。 我 也 不 相信 那些 人 给 出 的 特定 日 
期 ， 如 2029 年 。 同 时 ， 请 保持 对 牵强 附会 的 科学 小 说 场景 的 怀疑 态 
度 ， 也 小 心 提防 夸大 宣传 人 工 智能 产品 的 企业 。 


才气 大 数据 风行 一 时 ， 但 数据 挖掘 是 人 为 ， 而 非 智 能 。 当 统计 模型 分 
析 大 量 可 能 的 解释 变量 时 ， 可 能 关系 的 数量 就 会 暴 增 。 有 1 000 种 可 
能 解释 变量 的 多 元 回归 模型 ，10 个 输入 变量 存在 近 1 万 亿 个 万 亿 的 可 
能 组 合 。 若 有 1 万 个 可 能 解释 变量 ， 则 10 个 输入 变量 存在 超过 10 亿 万 
亿 个 万 亿 的 可 能 组 合 。 难 以 想象 ， 若 有 100 万 个 可 能 解释 变量 ， 会 存 
在 多 少 种 可 能 组 合 。 


如 果 把 很 多 可 能 变量 都 考虑 在 内 ， 即 便 所 有 都 只 是 随机 噪声 ， 部 分 组 
合 也 一 定 与 我 们 试图 预测 的 对 象 高 度 相 关 ， 如 癌症 、 信 用 风险 和 岗位 
适用 性 。 偶 然 会 出 现 真正 的 “知识 发 现 ”，, 但 是 ， 考 虑 的 解释 变量 越 
多 ， 所 发 现 关 系 只 是 偶然 出 现 且 转 瞬 即 逝 的 可 能 性 就 越 大 。 


统计 学 证 据 不 足以 辨别 真知 灼 见 和 虚假 信息 。 只 有 逻辑 、 智 慧 和 常识 
才能 对 其 加 以 区 分 。 计 算 机 无 法 评估 事物 是 真正 相关 还 是 偶然 相关 ， 
因为 计算 机 不 理解 数据 的 意义 。 数 字 不 过 是 数字 而 已 。 计 算 机 并 没有 
区 分 好 坏 数据 所 需 的 人 类 判断 力 ， 没 有 分 辩 有 理 有 据 的 和 虚假 伪造 的 
统计 学 模型 所 需 的 人 类 智能 。 如 今 的 计算 机 能 通过 图 灵 测 试 ， 却 无 法 
通过 史密斯 测试 。 如 果 所 发 现 的 模式 被 隐藏 在 黑匣子 里 ， 让 模型 难以 
理解 ， 就 会 使 这 种 情况 恶化 。 无 人 知晓 为 什么 计算 机 算法 决定 要 买 入 
这 只 股票 、 拒 绝 这 名 求职 者 、 给 病 患 开 这 种 药 、 拒 绝 这 名 办 犯 的 假释 
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在 大 数据 时 代 ， 真 正 的 危险 不 是 计算 机 比 我 们 更 聪明 ， 而 是 我 们 自己 
这 么 认为 ， 从 而 信任 计算 机 为 我 们 做 出 重要 决定 。 我 们 不 应 该 认为 计 
算 机 就 是 万 无 一 失 的 、 数 据 挖 掘 都 是 “知识 发 现 ”, 以 及 黑匣子 也 应 该 


被 信赖 。 我 们 要 相信 自己 能 判断 统计 学 模型 是 否 合理 ， 有 无 可 能 派 上 
用 场 ， 拖 或 它 只 是 偶然 出 现 而 已 ， 转 瞬 即 逝 ， 毫 无 用 处 。 

人 类 推理 与 人 工 智能 有 天 塘 之 别 ， 这 也 是 为 什么 如 今 更 显 人 类 推理 能 
力 的 可 贵 之 处 。 
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